JP4219521B2 - Matching method, apparatus, and recording medium - Google Patents

Matching method, apparatus, and recording medium Download PDF

Info

Publication number
JP4219521B2
JP4219521B2 JP2000028520A JP2000028520A JP4219521B2 JP 4219521 B2 JP4219521 B2 JP 4219521B2 JP 2000028520 A JP2000028520 A JP 2000028520A JP 2000028520 A JP2000028520 A JP 2000028520A JP 4219521 B2 JP4219521 B2 JP 4219521B2
Authority
JP
Japan
Prior art keywords
face
template
matching
region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2000028520A
Other languages
Japanese (ja)
Other versions
JP2001216518A (en
Inventor
昌世 片峯
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2000028520A priority Critical patent/JP4219521B2/en
Publication of JP2001216518A publication Critical patent/JP2001216518A/en
Application granted granted Critical
Publication of JP4219521B2 publication Critical patent/JP4219521B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、人物の顔を含む画像とテンプレートとのテンプレートマッチングを行うマッチング方法および装置、これらの方法および装置を用いた画像処理方法および装置並びにマッチング方法および画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。 The present invention is matching method and apparatus for template matching between the image and the template containing a human face, for executing an image processing method and apparatus and a matching method and image processing method using these methods and devices to the computer program a computer-readable recording medium recording a.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
ネガフイルムやリバーサルフイルムなどを用いて人物像を撮影することにより得られた写真などの画像において、最も注目される部位は人物の顔である。 In the image such as a photograph obtained by photographing a human image by using a negative film or a reversal film, the site to be most noted is the face of a person. したがって、画像の見えをよくするためには人物の顔が適正な色、濃度および階調となるように画像に対して画像処理を施す必要がある。 Therefore, in order to improve the appearance of the image it is necessary to perform image processing on the image as the face of the person is a proper color, density and gradation. 一方、人物の顔が適正な色、濃度および階調となるように画像処理を施すためには、画像から人物の顔領域を適切に抽出する必要がある。 On the other hand, face proper color of a person, in order to perform the image processing so that the density and gradation, it is necessary to appropriately extract a face region of a person from an image. このため、例えば人物を含む画像中から肌色領域の候補を抽出し、各候補のクロマや輝度のヒストグラムに基づいて肌色の色空間を定義して肌色領域を決定し、この肌色領域を顔領域とする方法(特開平6−309433号)、複数の顔テンプレートを用意し、この顔テンプレートと画像とのテンプレートマッチングを行って顔領域候補を抽出した後に、顔領域候補内における肌色の分布に基づいて顔領域を抽出する方法(特開平8−63597号)等により画像から顔領域を抽出して、画像処理を施すことが提案されている。 Thus, for example, it extracts a candidate of the skin color region from an image containing a person, based on the histogram of chroma or luminance of each candidate to define the color space of skin color and skin color area determined, and the skin color area face area how to (JP 6-309433), preparing a plurality of face templates, after extracting a face region candidate by performing a template matching between the face template image, based on the distribution of skin color in the face area candidate from the image by the method (JP-a-8-63597) and the like for extracting a face region by extracting the face region, is subjected to image processing has been proposed.
【0003】 [0003]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
しかしながら、上記特開平6−309433号に記載された方法は、予め定められた肌色空間にある領域を肌色領域として抽出するものである。 However, the method described in the JP-A-6-309433 is to extract an area of ​​the skin color space defined in advance as a skin color region. したがって、顔画像のコントラストが大きいと顔画像中の肌色の濃度が広範囲に亘って分布するため、定義された肌色空間に含まれない肌色を有する領域が顔領域に存在する可能性が高くなり、その結果顔の領域を全て抽出することができない場合がある。 Accordingly, since the concentration of the skin color in the face image contrast is large facial images distributed over a wide area, more likely regions having skin color not included in the skin color space defined is present in the face area, it may not be able to extract all the regions of the resulting face. また、定義された肌色空間に顔の背景の色が含まれる場合には、顔画像とともに背景も抽出されてしまう。 Further, if it contains the background color of the face skin color space is defined, it would also be extracted background with face image. 一方、上記特開平8−63597号に記載された方法は、顔テンプレートを用いたテンプレートマッチングによりある程度の顔の領域を定めることができるものの、抽出された顔領域候補から肌色の分布に基づいて顔領域を抽出する際に、上記特開平6−309433号に記載された方法と同様の問題が生じる。 Meanwhile, the method described in the JP-A-8-63597, although it is possible to define an area of ​​some face by template matching using a face template, based on the distribution of skin color from the extracted face region candidate face when extracting area, the same problem as the method described in the JP-a No. 6-309433 occurs.
【0004】 [0004]
本発明は上記事情に鑑みなされたものであり、顔画像に含まれる顔のコントラストを考慮して、顔領域を適切に抽出するための情報を得ることができるマッチング方法および装置、このマッチング方法および装置を用いた画像処理方法および装置並びにマッチング方法および画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。 The present invention has been made in view of the above circumstances, in consideration of the contrast of the face included in the face image, the matching method and device capable of obtaining information for appropriately extracts a face region, the matching method and it is an object to provide an image processing method, apparatus, and computer-readable recording medium recording a program for executing the matching method and an image processing method on a computer using the device.
【0005】 [0005]
【課題を解決するための手段】 In order to solve the problems]
本発明によるマッチング方法は、顔の輪郭および顔の構成部品を含むとともに、顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定し、 Matching method according to the present invention, together comprise the components of the contour and the face of the face, face type, face including the orientation and direction of the face of at least a plurality of different face template and the person of the light source to be irradiated to the face of the face image performing template matching to determine the degree of matching with to determine the matching degree is highest face template,
該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得することを特徴とするものである。 Based on the matching degree is highest face template, it is characterized in that to obtain information about the direction of the light source to be irradiated in the direction and said pigment of the face in the face region including the face on the facial image.
【0006】 [0006]
ここで、「顔テンプレート」とは、人間の顔について顔の輪郭、目、口、鼻および耳等の顔の構成部品を含むものであり、顔の種類、顔の向きおよび顔に照射される光源の方向を少なくとも変更することにより得られるものである。 Here, "face template", facial contour for human face, eyes, mouth, which include components of the face such as nose and ears, the type of face, is applied to the orientation and the face of the face it is obtained by at least changing the direction of the light source. 本発明における「顔テンプレート」においては、顔の向きが変わることにより、顔の輪郭の形状および顔の構成部品の配置位置が異なるものとなる。 In the "face template" in the present invention, by the orientation of the face is changed, becomes the location of the components of the contour shape and the face of the face are different. また、光源の方向が変わることにより、顔の輪郭に囲まれる領域の濃度分布が異なるものとなる。 Further, since the direction of the light source is changed, and that the density distribution of the region surrounded by the contour of the face is different. 例えば、光源方向が顔の正面であれば濃度分布は均一なものとなるが、光源方向がテンプレートに向かって右側であれば、顔の輪郭に囲まれる領域の右側が明るく、左側が暗い濃度分布となる。 For example, the density distribution if the light source direction is the front face but becomes uniform, if the right side light source direction is the template, bright right region surrounded by the outline of the face, the concentration distribution left dark to become. なお、この「顔テンプレート」としては、顔を3次元的に表したものであっても2次元的に表したものであってもよい。 Incidentally, as this "face template" it may be a representation of even two-dimensionally be those showing a face three-dimensionally. また、「顔の種類」としては、大人、子供、女性、男性、黄色人種、白色人種あるいは黒色人種等が挙げられる。 In addition, as a "kind of face" is, adults, children, women, men, the yellow race, the white race or black race, and the like. なお、顔の種類、顔の向きおよび光源の方向に加えて、顔のサイズが異なる顔テンプレートを用いてもよい。 The type of the face, in addition to the orientation and the light source of the face, size of the face may be used with different face templates.
【0007】 [0007]
なお、顔の輪郭の形状、目、鼻などの顔の構成部品の位置が分かれば顔の向きを知ることができる。 Incidentally, it is possible to know the shape of the contour of the face, eyes, the orientation of the face Knowing the position of the components of the face, such as the nose. したがって、「顔の向きに関する情報」とは、マッチング度が最も高い顔テンプレートにおける顔の輪郭形状および顔の構成部品の位置に関する情報のことをいう。 Thus, "information about the orientation of the face" refers to the information about the position of the components of the contour shape and the face of the face in the matching degree is highest face template.
【0008】 [0008]
また、顔に照射する光源の方向を変化させると、顔における明るさの分布が種々変更され、その結果顔の濃度分布が種々変更されることとなる。 Further, when changing the direction of the light source to be irradiated to the face, the brightness distribution in the face which is variously changed, so that the density distribution of the resulting face is variously changed. したがって、「光源の方向に関する情報」とは、マッチング度が最も高い顔テンプレートにおける顔領域の濃度分布に関する情報のことをいう。 Thus, "information about the direction of the light source" refers to the information on the concentration distribution of the face area in the matching degree is highest face template.
【0009】 [0009]
なお、本発明によるマッチング方法においては、前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定し、 In the matching method according to the invention, to set the region of a predetermined range including the face area as the face region candidate in the face image,
該顔領域候補内において前記テンプレートマッチングを行うことが好ましい。 It is preferable to perform the template matching in said pigment region candidate.
【0010】 [0010]
ここで、「顔領域を含む所定範囲の領域」は、顔画像をモニタなどの表示手段に表示して顔領域を矩形、円形等の領域で囲むことにより設定してもよく、顔画像を予め複数の領域に分割し、分割された領域から顔領域を含む領域を抽出することにより設定してもよい。 Here, "area of ​​a predetermined range including the face region", the rectangular face area by displaying a face image on display means such as a monitor may be set by surrounding the area such as a circle, in advance face image divided into a plurality of regions may be set by extracting an area including a divided region from the face region.
【0011】 [0011]
また、本発明によるマッチング方法においては、前記複数の顔テンプレートを予め作成してもよい。 In the matching method according to the present invention, it may create the plurality of face templates in advance.
【0012】 [0012]
さらに、前記複数の顔テンプレートを、前記顔の種類に応じて予め作成された複数の基準テンプレートにおける顔の向きおよび光源の方向を変更することにより作成し、 Further, the plurality of face templates, created by changing the orientation and the source of the face in the plurality of reference templates created in advance according to the type of the face,
該顔の向きおよび光源の方向が変更された顔テンプレートを取得しつつ前記テンプレートマッチングを行うようにしてもよい。 While obtaining the orientation and the light source of said pigment is modified face template may perform the template matching.
【0013】 [0013]
さらにまた、本発明によるマッチング方法においては、前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行うことが好ましい。 Furthermore, in the matching process according to the invention, the template matching, it is preferably carried out by obtaining a hierarchical matching degree for the plurality of face templates.
【0014】 [0014]
ここで、「階層的にマッチング度を求める」とは、顔の種類、顔の向きおよび光源の方向の3要素のうち、2要素(例えば顔の向きおよび光源の方向)を固定して1要素(顔の種類)を変数とし、1要素のみを変更することによりテンプレートマッチングを行うことをいう。 Here, "hierarchically determining the degree of matching" is the type of face, of the orientation and three elements in the direction of the light source of the face, one element secures the element (e.g., orientation and source of the face) and (face type) variable, refers to perform template matching by changing only one element. 例えば、変数とする1要素を顔の種類とした場合、まず顔の種類についてテンプレートマッチングを行い、最もマッチング度が高いテンプレートを求めることにより、顔の種類が決定される。 For example, when the one element to the variable and the type of face, template matching is performed for the type of face First, by obtaining the highest degree of matching is high template, the type of the face is determined. 次いで、顔の種類を固定し、他の1要素(例えば顔の向き)を変数としてテンプレートマッチングを行い、最もマッチング度が高いテンプレートを求めることにより、顔の種類および顔の方向が決定される。 Then, to fix the type of face, template matching is performed other one element (for example, face direction) as a variable, by determining the most matching degree is higher template, the direction of the type and the face of the face is determined. そして、顔の種類および顔の向きを固定し、さらに他の1要素(光源の方向)を変数としてテンプレートマッチングを行い、最もマッチング度が高いテンプレートを求めることにより、顔画像における顔の種類、顔の方向および光源の方向が決定される。 Then, to fix the orientation of the type and the face of the face, further perform template matching other 1 element (direction of the light source) as a variable, by determining the most matching degree is higher template, the type of a face in the face image, the face direction and the direction of the light source is determined.
【0015】 [0015]
本発明による画像処理方法は、本発明によるマッチング方法により取得された前記顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求め、 The image processing method according to the invention is based on the orientation and information about the direction of the light source of the face obtained by the matching method according to the present invention, determine the concentration distribution of skin color in the face area,
該濃度分布に基づいて前記顔画像における肌色空間を定義し、 Define the skin color space in the face image based on the concentration distribution,
前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出することを特徴とするものである。 It is characterized in that to extract the region corresponding to the skin color space in the face image as the face area.
【0016】 [0016]
ここで、「顔の向きおよび光源の方向に関する情報に基づいて、顔領域における肌色の濃度分布を求める」とは、顔の向きに関する情報から顔領域の輪郭を推定し、顔の向きに関する情報における顔の構成部品の位置および光源の方向に関する情報から、顔領域の輪郭内の高濃度域および低濃度域の分布を得ることをいう。 Here, "based on the information about the orientation and the light source of the face, determine the concentration distribution of skin color in the face region" and estimates the contour of the face area from the information on the face direction, the information about the direction of the face from the information on the direction of the position and the light source of the components of the face, refer to obtaining a distribution of high-density region and low density region in the contour of the face region.
【0017】 [0017]
また、「濃度分布に基づいて肌色空間を定義する」とは、濃度分布に基づいて顔領域中に存在する高濃度域および低濃度域の全ての肌色の領域が含まれるように肌色空間を定めることをいう。 Further, "defines the flesh color space based on the concentration distribution", define the skin color space to include the regions of all the flesh color of a high density region and low density region present in the face area on the basis of the density distribution say that.
【0018】 [0018]
なお、本発明による画像処理方法においては、前記肌色領域に対して所定の画像処理を施すことが好ましい。 In the image processing method according to the invention is preferably subjected to predetermined image processing with respect to the skin color region.
【0019】 [0019]
ここで、「画像処理」としては、肌色領域を所望とする肌色に変換する色変換処理、顔領域の階調を変換する階調変換処理、シャープネス強調処理等の種々の処理を用いることができる。 Here, the "image processing", it is possible to use a color conversion process to convert the skin color of the skin color area and desired, the gradation conversion processing for converting a gradation of the face region, various processes sharpness enhancement etc. .
【0020】 [0020]
本発明によるマッチング装置は、顔の輪郭および顔の構成部品を含むとともに、顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定するテンプレートマッチング手段と、 Matching apparatus according to the present invention, together comprise the components of the contour and the face of the face, the face including the type of face, the orientation and direction of the face of at least a plurality of different face template and the person of the light source to be irradiated to the face of the face image a template matching means for performing template matching, to determine the degree of matching the highest face template to determine the degree of matching between,
該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得する情報取得手段とを備えたことを特徴とするものである。 Based on the matching degree is highest face template, further comprising an information obtaining means for obtaining information about the direction of the light source to be irradiated in the direction and said pigment of the face in the face region including the face on the facial image it is an feature.
【0021】 [0021]
なお、本発明によるマッチング装置においては、前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定する領域設定手段をさらに備え、 Incidentally, in the matching apparatus according to the present invention further comprises a region setting means for setting a face area candidate area in a predetermined range including the face area in the face image,
前記テンプレートマッチング手段は、前記顔領域候補内において前記テンプレートマッチングを行う手段であることが好ましい。 The template matching unit is preferably in the face region candidate is a means for performing the template matching.
【0022】 [0022]
また、本発明によるマッチング装置においては、前記複数の顔テンプレートを記憶するテンプレート記憶手段をさらに備えるようにしてもよい。 Further, in the matching apparatus according to the present invention may further comprise a template storage means for storing the plurality of face templates.
【0023】 [0023]
さらに、本発明によるマッチング装置においては、前記顔の種類に応じて予め作成された複数の基準テンプレートを記憶する基準テンプレート記憶手段と、 Further, in the matching apparatus according to the present invention includes a reference template storage means for storing a plurality of reference templates created in advance according to the type of the face,
前記複数の基準テンプレートにおける顔の向きおよび光源の方向を変更することにより前記複数の顔テンプレートを作成するテンプレート作成手段とをさらに備えるようにし、 Further comprise a a template creating means for creating a plurality of face templates by changing the orientation and the source of the face in the plurality of reference templates,
前記テンプレートマッチング手段を、該テンプレート作成手段により作成された前記顔の向きおよび前記光源の方向が異なる顔テンプレートを取得しつつ前記テンプレートマッチングを行う手段としてもよい。 The template matching means may perform the template matching orientation and while the direction of the light source to obtain different face templates of the face created by the template creating means.
【0024】 [0024]
さらにまた、本発明によるマッチング装置においては、前記テンプレートマッチング手段は、前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行う手段であることが好ましい。 Furthermore, in the matching apparatus according to the present invention, the template matching means, the template matching, it is preferable that the means for performing the determining the hierarchically matching degree for the plurality of face templates.
【0025】 [0025]
本発明による画像処理装置は、本発明によるマッチング装置により取得された前記顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求める手段と、 The image processing apparatus according to the present invention, based on the orientation and information about the direction of the light source of the face obtained by the matching device according to the present invention, a means for obtaining a concentration distribution of skin color in the face area,
該濃度分布に基づいて前記顔画像における肌色空間を定義する手段と、 It means for defining a skin color space in the face image based on the concentration distribution,
前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出する手段とを備えたことを特徴とするものである。 It is characterized in further comprising a means for extracting a region corresponding to the skin color space in the face image as the face area.
【0026】 [0026]
なお、本発明による画像処理装置においては、前記肌色領域に対して所定の画像処理を施す手段をさらに備えることが好ましい。 In the image processing apparatus according to the present invention preferably further comprises means for performing predetermined image processing on the skin color region.
【0027】 [0027]
なお、本発明によるマッチング方法および画像処理方法をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。 Incidentally, as a program for executing the matching method and image processing method according to the invention in a computer, or may be provided by being recorded in a computer-readable recording medium.
【0028】 [0028]
【発明の効果】 【Effect of the invention】
本発明によるマッチング方法および装置によれば、複数の顔テンプレートと顔画像とのテンプレートマッチングを行って、顔画像に含まれる顔領域と最もマッチング度が高い顔テンプレートを決定し、この顔テンプレートに基づいて、顔画像上の顔領域における顔の向きおよび顔に照射される光源の方向に関する情報を取得するようにしたものである。 According to the matching method and device according to the present invention, by performing template matching with a plurality of face template and the face image, to determine the most matching degree is higher face template and the face region included in the face image, based on the face template Te, in which so as to obtain information about the direction of the light source to be irradiated to the orientation and the face of the face in the face region on the face image. ここで、顔の向きに関する情報から顔の輪郭の形状および顔の構成部品の位置を知ることができ、光源の方向に関する情報から顔に照射される光源の方向に応じて変動する顔領域の濃度分布を知ることができる。 Here, it is possible to know the position of the components of the contour shape and the face of the face from the information on the face direction, density of the face region varies depending from the information on the direction of the light source in the direction of the light source to be irradiated to the face distribution can be known. したがって、顔の向きおよび光源の方向に関する情報を用いることにより、肌色領域の抽出や、顔の構成部品の抽出などの種々の処理を行い易くすることができる。 Therefore, by using the information about the orientation and the light source of the face, the extraction and the skin color region can be easily performed various processes such as extraction of the components of the face.
【0029】 [0029]
また、顔画像において顔領域を含む所定範囲の領域を顔領域候補として設定し、この顔領域候補内においてテンプレートマッチングを行うことにより、顔画像全体においてテンプレートマッチングを行う場合と比較して、マッチングのための演算時間を短縮することができる。 Further, to set the region of a predetermined range including the face area in the face image as a face area candidate, by performing template matching in the face region candidate, as compared with the case of performing the template matching in the entire face image, the matching it is possible to shorten the calculation time for.
【0030】 [0030]
さらに、複数の顔テンプレートを予め作成しておくことにより、顔テンプレートに何ら手を加えることなく、各顔テンプレートを順次使用するのみでテンプレートマッチングを行うことができる。 Further, by previously creating a plurality of face templates in advance, without adding any hand face template, it is possible to perform template matching only sequentially use each face template.
【0031】 [0031]
さらにまた、予め作成された基準テンプレートにおける顔の向きおよび光源の方向を変更することにより複数の顔テンプレートを作成し、顔の向きおよび光源の方向を変更しつつテンプレートマッチングを行うことにより、保存しておくテンプレートの数を少なくすることができ、これによりテンプレートを記憶する記憶手段の容量を低減することができる。 Furthermore, to create a plurality of face templates by changing the orientation and the source of the face in the pre-made reference template, by performing template matching while changing the orientation and the source of the face, and stored it is possible to reduce the number of templates previously, thereby reducing the capacity of the storage means for storing template.
【0032】 [0032]
また、階層的にマッチング度を求めることにより、全ての顔テンプレートについてテンプレートマッチングを行う必要がなくなるため、テンプレートマッチングのための演算を高速に行うことができる。 Further, by obtaining the hierarchical matching degree, because the need to perform template matching for all the face template eliminated, it is possible to perform calculation for the template matching at a high speed.
【0033】 [0033]
本発明による画像処理方法および装置においては、本発明によるマッチング方法および装置により抽出された顔の向きおよび光源の方向に関する情報に基づいて、顔画像中の顔領域における肌色の濃度分布が求められる。 In the image processing method and apparatus according to the present invention, based on the orientation and information about the direction of the light source of the face extracted by the matching method and apparatus according to the present invention, the concentration distribution of skin color in the face area in the face image is determined. すなわち、顔の向きに関する情報から顔領域の輪郭を推定し、顔の向きに関する情報における鼻等の顔の構成部品の位置および光源の方向に関する情報から、顔領域の輪郭内の高濃度域および低濃度域の分布を得、これが肌色の濃度分布として得られる。 That is, to estimate the contour of the face area from the information on the face direction, the information about the direction of the position and the light source of the components of the face of the nose or the like in the information on the face direction, the high density area in the contour of the face area and low the resulting distribution of concentration range, which is obtained as the concentration distribution of skin color. この濃度分布は、顔領域における高濃度域および低濃度域がどのように分布して顔の領域のコントラストを形成しているかを表す情報であり、この濃度分布に基づいて、顔領域中に存在する高濃度域および低濃度域の全ての肌色の領域が含まれるように肌色空間が定義される。 The concentration distribution is information indicating whether distributed how the high density region and low density region in the face region forms a contrast of the face region, on the basis of the density distribution, present in the face area skin color space to include the regions of all the flesh color of a high density region and low density region is defined to be. このため、顔領域のコントラストが大きくても顔領域の肌色が全て抽出されるように肌色空間を定義することができ、これにより顔画像から肌色領域を正確に抽出することができる。 Therefore, it is possible to define the skin color space as all extracted skin color of the face area be greater the contrast of the face area, thereby it is possible to accurately extract a skin color area from the face image.
【0034】 [0034]
また、抽出された肌色領域に対して画像処理を施すことにより、顔画像中の顔領域を所望とする画像処理が施されたものとすることができる。 Further, by performing image processing on the extracted skin color region it can be assumed that the image processing has been performed for a desired the face area in the face image.
【0035】 [0035]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
以下図面を参照して本発明の実施形態について説明する。 With reference to the drawings will be described embodiments of the present invention.
【0036】 [0036]
図1は本発明の実施形態によるマッチング装置を適用した画像処理装置の構成を示す概略ブロック図である。 Figure 1 is a schematic block diagram showing a configuration of an image processing apparatus according to the matching device according to an embodiment of the present invention. 図1に示すように本実施形態による画像処理装置は、デジタルカメラにより撮像された、あるいはスキャナにより読取られた人物の顔を含む画像を表す画像データS0に対して処理を施して処理済み画像データS1を得るものであり、画像データS0が記録されたメディアから画像データS0を読み出す、あるいはネットワークを介して転送された画像データS0を読み出す読出手段1と、読み出した画像データS0により表される画像から人物の顔を抽出する顔抽出手段2と、画像データS0に対して画像処理を施して処理済み画像データS1を得る画像処理手段3と、処理済み画像データS1をプリンタ、ネットワーク、記録媒体、モニタ等に出力する出力手段4と、画像データS0等を表示するモニタ5と、顔抽出手段2、画像処理手 The image processing apparatus according to this embodiment, as shown in Figure 1, taken by a digital camera, or the processed image data by performing processing on the image data S0 representing an image including a face of a read the person by the scanner is intended to obtain S1, image image data S0 reads the image data S0 from a recording medium, or the reading means 1 for reading the image data sets S0 are transmitted over the network, represented by the image data sets S0 read a face extraction unit 2 for extracting the human face, the image processing means 3 for obtaining processed image data S1 by carrying out image processing on the image data S0, the processed image data S1 printer, network, a recording medium, and output means 4 for outputting a monitor or the like, a monitor 5 for displaying the image data sets S0 and the like, the face extraction section 2, the image processing hand 3および出力手段4に対して種々の入力を行うためのキーボード、マウス等からなる入力手段6とを備える。 3 and keyboard for performing various inputs to the output unit 4, and an input unit 6 consisting of a mouse or the like.
【0037】 [0037]
顔抽出手段2は、画像データS0により表される画像に後述する顔領域候補Fを指定する領域指定手段11と、領域指定手段11において指定された顔領域候補Fを抽出する領域抽出手段12と、複数のテンプレートTを表すテンプレートデータTDを記憶したテンプレート記憶手段13と、テンプレートTと領域抽出手段12において抽出された顔領域候補Fとのテンプレートマッチングを行って顔領域候補Fにおける顔の向きおよび光源の方向に関する情報Iを求めるマッチング手段14と、マッチング手段14において求められた情報Iに基づいて、顔領域候補Fから肌色領域Hを抽出する肌色領域抽出手段15とを備える。 Face extraction unit 2 includes an area specifying unit 11 for specifying a face area candidate F to be described later to the image represented by the image data S0, the region extracting unit 12 for extracting a specified face region candidate F in the region designation means 11 , a template storage unit 13 that stores template data TD representing a plurality of templates T, and the orientation of the face in the face region candidate F by performing template matching between the face region candidate F extracted in the template T and the region extracting unit 12 It comprises a matching means 14 for obtaining the information I regarding the direction of the light source, based on the information obtained in the matching unit 14 I, and a skin color area extracting means 15 for extracting a skin-colored area H from the face region candidate F.
【0038】 [0038]
領域指定手段11は、画像データS0をモニタ5に表示し、モニタ5に表示された画像(以下画像についてもS0で表すものとする)S0に対して入力手段6からの指示により、例えば図2に示すように顔を含む領域を顔領域候補Fとして指定するものである。 Region designation means 11 displays the image data S0 to monitor 5, (and those represented by S0 also the following image) image displayed on the monitor 5 by an instruction from the input unit 6 with respect to S0, for example, FIG. 2 a region including a face as shown in is specified as a face region candidate F. なお、顔領域候補Fは矩形に限定されるものではなく、円形あるいは楕円形であってもよい。 Note that the face region candidate F is not limited to a rectangle, may be circular or elliptical. また、画像S0を複数の領域に分割して各領域を指定する番号を付与し、顔を含む領域の番号を指定することにより顔領域候補Fを指定してもよい。 Further, by dividing the image S0 into a plurality of areas assigned a number to specify each region may be specified face region candidate F by specifying the number of the region including the face. 例えば図3に示すように、画像S0を5×5の領域に分割した場合、顔領域候補Fの番号は22となる。 For example, as shown in FIG. 3, when dividing the image S0 in the region of 5 × 5, the number of face area candidate F becomes 22.
【0039】 [0039]
なお、画像データS0を取得した際に顔領域候補Fを予め設定しておき、設定された顔領域候補Fの情報(例えば顔領域候補の位置、顔を含む領域の番号)をタグ情報として画像データS0に予め付加しておいてもよい。 Note that preset face region candidate F upon acquiring image data S0 advance, image setting information of the face region candidate F (for example, the position of the face region candidate, the number of regions including a face) as the tag information it may be previously added to the data S0. これにより、領域指定手段11においては、入力手段6からの指示がなくても、画像データS0のタグ情報に基づいて、顔領域候補Fが指定された画像S0をモニタ5に表示することができる。 Thus, in the region designation means 11, even without the instruction from the input unit 6, based on the tag information of the image data S0, it is possible to display an image S0 in which the face region candidate F is designated on the monitor 5 .
【0040】 [0040]
領域抽出手段12は、領域指定手段11において指定された顔領域候補Fを抽出するものであるが、抽出の際には顔領域候補Fにおいて顔領域以外の領域ができるだけ少なくなるように、領域指定手段11において指定された顔領域候補Fの大きさを多少変更してもよい。 Region extracting means 12, as it is intended to extract the specified face region candidate F in the region designation means 11, a region other than the face region in the face region candidate F in the extraction is as small as possible, the region designation some may change the size of the specified face region candidate F in section 11. なお、領域抽出手段12において顔領域候補Fを抽出することにより、モニタ5には抽出された顔領域候補Fのみを表示してもよいが、図2に示すように画像S0上に顔領域候補Fの境界を表示してもよい。 Incidentally, by extracting the face region candidate F in the region extraction unit 12 may display only the extracted face region candidate F on the monitor 5 but face area candidates on the image S0, as shown in FIG. 2 F boundary of may be displayed.
【0041】 [0041]
テンプレート記憶手段13には、複数種類の顔について、大きさ、向きおよび照射される光源の方向を異なるものとした複数のテンプレートTを表すテンプレートデータTDが、実写あるいはコンピュータグラフィックスによって作成されて記憶されている。 The template storage unit 13, the plurality of types of faces, size, orientation and the template data TD representing a plurality of templates T that is different from the direction of the light source used for irradiation is, is created by the live-action or computer graphics storage It is. ここで、コンピュータグラフィックスによりテンプレートデータTDを作成すれば、テンプレートTがノイズや撮影時のぶれによる影響を受けないため、より好ましいものである。 Here, by creating a template data TD by computer graphics, since the template T is not influenced by shake during noise or shot it is more preferable. なお、テンプレートTには、顔の種類、大きさおよび向きに応じた顔の輪郭および目、鼻、眉毛等の顔の構成部品が含まれる。 Incidentally, the template T, the type of face, contour and eyes according to the size and orientation face, includes nose, components of the face such as eyebrows.
【0042】 [0042]
ここで、顔の種類としては、大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種あるいは黒色人種等が挙げられる。 Here, as the type of face, adults, children, babies, the elderly, women, men, the yellow race, the white race or black race, and the like. また、顔の向きを異なるものとするためには、例えば例えば顔が正面を向いた状態を0度とし、0〜360度まで15度毎に異なる顔の向きに応じて、顔の輪郭および構成部品の配置を変更してテンプレートTとすればよい。 Further, in order to the orientation of the face different from, for example, for example, a state where the face is facing forward as 0 degrees, depending on the orientation of the different faces every 15 degrees to 0 to 360 degrees, the outline and structure of the face it may be used as the template T to change the arrangement of parts. また、光源の方向を異なるものとするためには、光源が顔の正面にある状態を0度とし、上下左右および斜め方向の合計4方向について、±90度の範囲で15度毎に異なる方向から顔に向けて光を照射した状態の顔の画像をテンプレートTとすればよい。 Further, in order to the direction of the light source different from the state in which the light source is in front of the face as 0 degrees, for a total of four directions of up, down, left and right and oblique directions, different directions every 15 degrees in a range of 90 degrees ± an image of the face of a state of irradiating light toward the face from it if the template T. なお、顔の大きさを考慮することなくテンプレートデータTDを作成してもよい。 It is also possible to create a template data TD without considering the size of the face. この場合、後述するマッチング手段14においては、顔領域候補FとテンプレートTとが正規化されてマッチングが行われることとなる。 In this case, in the matching means 14 to be described later, and thus where the face region candidate F and the template T normalized by matching is performed.
【0043】 [0043]
また、テンプレートデータTDは、階層化してテンプレート記憶手段13に記憶することが好ましい。 Further, the template data TD is preferably stored in the template storage unit 13 and layered. 例えば、図4に示すように、赤ちゃんの顔の下位の階層に顔の向きが異なる赤ちゃんの顔を対応付け、さらに個々の顔の向きにおける下位の階層に、顔上の影の位置すなわち光源の位置が異なる赤ちゃんの顔を対応付けておくことが好ましい。 For example, as shown in FIG. 4, associates the faces of the lower hierarchy is the orientation of the face different baby baby face, further down the hierarchy in the orientation of individual faces, the position, that is the light source of the shadow on the face it is preferred that the position previously associated face of different baby. このように、テンプレートデータTDを階層化して記憶しておくことにより、まず顔の種類が決定された後、その種類に応じた顔の向きを決定し、さらにその後光源の方向を決定するよう階層的にテンプレートマッチングを行うことができる。 Thus, by storing in a hierarchy of template data TD, after first type of face it is determined, to determine the orientation of the face of the kind of the hierarchy to further subsequently determine the direction of the light source it is possible to perform template matching in manner. したがって、全てのテンプレートTを用いてテンプレートマッチングを行う場合と比較して、マッチング手段14における顔領域候補FとテンプレートTとのテンプレートマッチングを効率よく行うことができる。 Therefore, it is possible to perform in comparison with the case of performing the template matching using all of the template T, a template matching between the face region candidate F and the template T in the matching unit 14 efficiently.
【0044】 [0044]
なお、複数種類の顔を表す実写あるいはコンピュータグラフィックスの3次元形状モデルをテンプレートデータTDとして記憶してもよい。 It is also possible to store a three-dimensional shape model of the live-action or computer graphics representing a plurality of types of face as the template data TD. 図5は男性の顔の3次元形状モデルを表すテンプレートデータTDを示す図である。 Figure 5 is a diagram showing a template data TD representing the 3-dimensional shape model of the face of man. このようにテンプレートデータTDを3次元形状モデルとした場合、3次元形状モデルをモニタ5に表示して入力手段6により顔の向きおよび照射される光源の方向を種々変更して後述するマッチング手段4において顔領域候補Fとのテンプレートマッチングを行うことができる。 If you make this kind of template data TD and the three-dimensional shape model, matching means 4 described later in the direction of the light source to be oriented and irradiated face by the input means 6 displays a three-dimensional model on the monitor 5 with various modifications it is possible to perform template matching between the face region candidate F in. このように、テンプレートデータTDを3次元形状モデルとし、このテンプレートデータTDにより表されるテンプレートTにおける顔の向きおよび光源の方向を変更して顔領域候補Fとのテンプレートマッチングを行うことにより、テンプレート記憶手段13に記憶するテンプレートデータTDを少なくすることができ、これによりテンプレート記憶手段13の容量を低減することができる。 Thus, the template data TD and a three-dimensional shape model, by performing template matching between the face region candidate F by changing the orientation and direction of the light source of the face in the template T, represented by the template data TD, templates template data TD stored in the storage unit 13 can be reduced, thereby reducing the capacity of the template storage unit 13.
【0045】 [0045]
また、この場合においても階層的に顔の向きおよび照射される光源の方向を変更してテンプレートマッチングを行うことができ、これにより顔領域候補FとテンプレートTとのテンプレートマッチングを効率よく行うことができる。 Moreover, this also hierarchically can make orientation and template matching by changing the direction of the light source to be irradiated face when, thereby be performed template matching between the face region candidate F and the template T efficiently it can.
【0046】 [0046]
また、テンプレートデータTDとしては2値化したテンプレートTを表すものであってもよい。 As the template data TD may represent the template T binarized.
【0047】 [0047]
マッチング手段14は、領域抽出手段12において抽出された顔領域候補Fを表すデータが入力されると、テンプレート記憶手段13からテンプレートデータTDを順次読み出して、顔領域候補FとテンプレートTとのテンプレートマッチングを行うものである。 Matching means 14, the data representing the face region candidate F extracted in the area extracting unit 12 is inputted, sequentially reads out the template data TD from the template storing unit 13, the template matching between the face region candidate F and the template T and it performs. 具体的には、顔領域候補FおよびテンプレートTを2値化し、2値化した顔領域候補FおよびテンプレートTとのマッチング度を求める。 Specifically, binarized face region candidate F and the template T, obtaining the degree of matching between binarized face region candidate F and the template T. なおテンプレートTが2値化されている場合には、テンプレートTをそのまま用いる。 Note that when the template T is binarized, the template T is used as it is. そして、マッチング度が最大となるテンプレートTにおける顔の向きおよび光源の方向を、顔領域候補Fにおける顔の向きおよび光源の方向を表す情報Iとして求めるものである。 Then, the direction of orientation and the light source of the face in the template T matching degree is maximum, and requests the information I representative of the orientation and the light source of the face in the face region candidate F. 具体的には、2値化した顔領域候補FにおけるデータをF′、2値化したテンプレートTのデータをTD′とすると、テンプレートTの位置および種類を変更する毎に下記の式(1)に示すように、データF′とデータTD′とのマッチング度Mを算出する。 Specifically, the data in the binarized face region candidate F F When ', the data of the binarized template T TD' and, following each change the position and type of the template T Equation (1) as shown in, it calculates the matching degree M of the data F 'and data TD' and.
【0048】 [0048]
M=(Σ|Fij′−TDij′|)/n (1) M = (Σ | Fij'-TDij '|) / n (1)
但し、Fij′:データF′により表される画像の画素値TDij′:データF′と対応するデータTD′により表される画像の画素値n:データFij′またはデータTDij′により表される画像の画素数そして、算出されたマッチング度Mが最大となったテンプレートTにおける顔の向きおよび光源の方向を、顔領域候補Fにおける顔の向きおよび光源の方向を表す情報Iとして求めるものである。 However, Fij: pixel image values ​​represented by 'data F' TDij: 'pixel image values ​​represented by n: data Fij' data TD and the corresponding 'data F' image represented by or data TDij ' number of pixels and the orientation and direction of the light source of the face in the template T calculated matching degree M is maximized, and requests the information I representative of the orientation and the light source of the face in the face region candidate F. なお、テンプレートTおよび顔領域候補Fを2値化することなくテンプレートマッチングを行ってもよい。 It is also possible to perform template matching without binarizing the template T and the facial region candidate F.
【0049】 [0049]
ここで、顔の輪郭の形状、目、鼻などの顔の構成部品の位置が分かれば顔の向きを知ることができる。 Here, it is possible to know the shape of the contour of the face, eyes, the orientation of the face Knowing the position of the components of the face, such as the nose. したがって、顔の向きに関する情報とは、マッチング度が最も高いテンプレートTにおける顔の輪郭形状、目、鼻などの顔の構成部品の位置に関する情報のことをいう。 Therefore, the information on the face direction, say the face contour shape matching degree in most template T, eyes, that information about the position of the components of the face, such as the nose.
【0050】 [0050]
また、顔に照射する光源の方向を変化させると、顔における明るさの分布が種々変更され、その結果顔の濃度分布が種々変更されることとなる。 Further, when changing the direction of the light source to be irradiated to the face, the brightness distribution in the face which is variously changed, so that the density distribution of the resulting face is variously changed. したがって、光源の方向に関する情報とは、マッチング度が最も高いテンプレートTにおける顔の濃度分布に関する情報のことをいう。 Therefore, the information about the direction of the light source refers to the information on the concentration distribution of the face matching degree in most template T.
【0051】 [0051]
なお、テンプレート記憶手段13においてテンプレートデータTDが図4に示すように階層化されている場合、顔の種類のマッチング後は、マッチングされた種類の顔の下位階層において顔の向きについてのみのマッチングを行えばよく、さらに顔の向きのマッチング後は、顔の向きの下位階層において光源の方向についてのみマッチングを行えばよい。 Incidentally, when the template data TD in the template storage unit 13 are layered as shown in FIG. 4, after matching the type of face, matching only for the orientation of the face in the lower layer of the matched type of face may be performed after a further orientation of the matching of the face may be performed to match only the direction of the light source in the lower layer of the orientation of the face.
【0052】 [0052]
また、領域指定手段11における領域指定時に、画像S0に含まれる顔の種類(例えば女性の顔である、赤ちゃんの顔である等)を予め入力しておくことにより、マッチング手段14において、入力された種類の顔を表すテンプレートTを優先的にマッチングに使用することができ、これによってもテンプレートマッチングを効率よく行うことができる。 Further, when the area specified in the area specifying unit 11, (for example female face, a baby face, etc.) types of faces included in the image S0 by previously inputted in advance, the matching unit 14, is input the template T which represents the type of face can be used to preferentially matching, whereby it is possible to perform template matching efficiently be.
【0053】 [0053]
さらに、顔領域候補FおよびテンプレートTをLog-Polar変換して、テンプレートマッチングを行ってもよい。 Further, a face region candidate F and the template T by converting Log-Polar, may be performed template matching. ここで、人間の顔は円形に近い形状をなしているため、例えば図6に示すような右90度の方向から光が照射された顔画像を、顔画像の中心を極とするとともに、図6におけるY軸を基準としてLog-Polar変換すると、顔の輪郭は図7に示すように、極座標上において略水平方向に延在するものとなる。 Here, since the human face has a shape close to a circle, a face image light is irradiated from the direction of 90 degrees to the right as shown in FIG. 6, for example, with the pole center of the face image, FIG. When Log-polar converter based on the Y axis in 6, the contour of the face, as shown in FIG. 7, the one that extends in a substantially horizontal direction on the polar coordinates. したがって、顔領域候補FおよびテンプレートTをLog-Polar変換することにより、円形に近い形状を有する領域同士をテンプレートマッチングする場合と比較して、テンプレートマッチングを行い易くすることができる。 Therefore, by Log-Polar transform the face region candidate F and the template T, it can be compared with the case of template matching regions each having a shape close to a circle, to facilitate the template matching.
【0054】 [0054]
肌色領域抽出手段15は、マッチング手段14において得られた顔領域候補Fにおける顔の向きおよび光源方向を表す情報Iに基づいて、顔領域候補Fを明るい領域すなわち低濃度域および暗い領域すなわち高濃度域に領域分割し、各領域毎に肌色空間を定義して肌色領域を抽出する。 Skin color area extracting unit 15, based on the information I representative of the orientation and the light source direction of the face in the face region candidate F obtained in the matching unit 14, a region brighter face region candidate F, that is, a low density region and a dark region or a high concentration divided into areas in frequency, to extract a skin color region by defining the skin color space for each of the regions. この肌色領域Hの抽出は以下のようにして行う。 Extraction of the skin color area H is performed as follows. まず、顔の向きに関する情報から顔領域候補Fにおける顔の輪郭を知ることができ、さらに光源方向を表す情報から輪郭により囲まれる領域内における明るい領域および暗い領域の分布すなわち濃度分布を知ることができる。 First, to know the orientation information from the can know the outline of the face in the face region candidate F about further distribution i.e. the concentration distribution of the bright and dark regions in the enclosed is the area by the contour from the information representative of the light source direction of the face it can. またこの際、顔の向きに関する情報から顔の構成部品の位置を知ることができるが、とくに鼻および目の位置に関する情報に基づいて、顔において他の領域よりも明るくなる鼻および目の下にある頬の位置を知ることができる。 Also in this case, it is possible to know the position of the components of the face from the information on the face direction, cheek particularly on the basis of the information about the position of the nose and eyes, in brighter nose and under the eyes than other regions in the face it is possible to know the position. そして、濃度分布および鼻、頬の位置に基づいて肌色空間を定義して肌色領域Hを抽出する。 Then, it extracts a skin color region H to define the skin color space based on the density distribution and the nose, cheeks position.
【0055】 [0055]
具体的には、図6に示すように正面を向いた顔の右側から光が照射されている場合、顔の右半分の領域(以下右領域とする)は明るいが左半分の領域(以下左領域とする)は暗いものとなる。 Specifically, when light from the right face facing forward as shown in FIG. 6 is irradiated, (or less right region) right half area of ​​the face bright but the left half region (hereinafter Left and region) becomes darker ones. また、人間の顔においては鼻および頬が突出しているため、右領域においては鼻の右側および頬が他の領域より明るくなる。 In the human face for the nose and cheeks protrude, right and cheeks of the nose is brighter than other regions in the right area. また、左領域においても鼻および頬の部分が他の領域より明るくなる。 Also, the portion of the nose and cheeks made brighter than the other region in the left area.
【0056】 [0056]
したがって、右領域については最も明るい部分すなわち鼻の右側と頬の部分を含むように肌色空間を定義して、顔の右半分の領域を抽出する。 Therefore, for the right region defines a skin color space to include right and part of the cheeks of the brightest portion or nose, to extract the right half area of ​​the face. 一方、顔の左半分についても鼻の左側と頬の部分を含むように肌色空間を定義して、顔の左半分の領域を抽出する。 On the other hand, define a skin color space for containing the left and part of the cheeks of the nose for the left half of the face, to extract the left half area of ​​the face.
【0057】 [0057]
画像処理手段3は、抽出された肌色領域Hが所望とする濃度および色となるように、この肌色領域Hの画像データS0に対して階調処理や色変換処理さらにはシャープネス処理等の画像処理を施して処理済み画像データS1を得る。 Image processing means 3, as extracted skin color region H is the concentration and color of the desired image processing sharpness processing such as gradation processing, color conversion processing more on the image data S0 of the skin color area H obtaining processed image data S1 is subjected to. なお、肌色領域H以外の領域について画像処理を施してもよい。 It is also possible to perform image processing for a region other than the skin color region H. ここで、シャープネス処理としては、肌色領域Hの大きさすなわち顔の大きさに応じて、顔が大きい場合にはシャープネス強調の程度を弱くし、顔が小さい場合にはシャープネス強調の程度を大きくするように処理を施すことができる。 Here, the sharpness processing, according to the size of the size i.e. the face of the skin color region H, in the case of a large face to weaken the degree of sharpness enhancement, to increase the degree of sharpness enhancement when the face is small processing can be subjected to.
【0058】 [0058]
次いで、本実施形態の動作について説明する。 Next, the operation of this embodiment will be described. 図8は本実施形態の動作を示すフローチャートである。 Figure 8 is a flowchart showing the operation of this embodiment. まず、読出手段1において画像データS0が読み出されて(ステップS1)、顔領域抽出手段2に入力される。 First, the image data S0 is read in the reading unit 1 (step S1), and is input to the face region extraction unit 2. 画像データS0はモニタ5に表示され(ステップS2)、入力手段6からの入力により顔領域候補Fが指定される(ステップS3)。 Image data S0 is displayed on the monitor 5 (step S2), the face region candidate F is designated by an input from the input unit 6 (step S3). そして、領域抽出手段12において顔領域候補Fが抽出される(ステップS4)。 The face region candidate F is extracted in the area extracting unit 12 (step S4). 抽出された顔領域候補Fはマッチング手段14に入力され、ここでテンプレート記憶手段13に記憶されたテンプレートデータTDを用いて、テンプレートデータTDにより表されるテンプレートTと顔領域候補Fとのテンプレートマッチングが行われる(ステップS5)。 Extracted face region candidate F is input to the matching means 14, here by using the template data TD stored in the template storage unit 13, the template matching between a template T and the face region candidate F represented by the template data TD is performed (step S5). そしてテンプレートマッチングが終了すると、マッチング度が最も大きいテンプレートTに基づいて顔の向きおよび光源の方向を表す情報Iが生成される(ステップS6)。 When the template matching is completed, the information I based on the matching degree is highest template T represents the orientation and the light source of the face is generated (step S6).
【0059】 [0059]
肌色領域抽出手段15は情報Iに基づいて、上述したように顔領域候補Fから肌色領域Hを抽出する(ステップS7)。 Skin color area extracting means 15 based on the information I, extracts a skin color region H from the face region candidate F as described above (step S7). そして、画像処理手段3において画像データS0により表される画像における肌色領域Hに対して階調処理、色変換処理、シャープネス処理等の画像処理が施されて処理済み画像データS1が得られる(ステップS8)。 Then, the gradation processing with respect to the skin color region H in the image represented by the image data S0 in the image processing unit 3, the color conversion processing, image processing is performed by the processed image data S1 of the sharpness processing, and the like are obtained (Step S8). そして、処理済み画像データS1は出力手段4において出力され(ステップS9)、処理を終了する。 Then, the processed image data S1 is output at the output unit 4 (step S9), and ends the process.
【0060】 [0060]
このように、本実施形態においては、顔領域候補Fを複数のテンプレートTによりテンプレートマッチングして顔領域候補Fにおける顔の向きおよび光源の方向を表す情報Iを得るようにしたため、顔の向きに関する情報から顔の輪郭形状および顔の構成部品の位置を知ることができ、光源の方向に関する情報から顔に照射される光の方向に応じて変動する顔領域候補Fの濃度分布を知ることができる。 Thus, in the present embodiment, since to obtain the information I represents the direction of face orientation and a light source in the face region candidate F by template matching by the face region candidate F a plurality of templates T, regarding the direction of the face information from can know the position of the contour shape and the face components of the face, it is possible to know the concentration distribution of the face area candidate F which varies depending on the direction of light emitted from the information on the direction of the light source to the face . そして、情報Iのうち顔の向きに関する情報から顔領域の輪郭を推定し、顔の向きに関する情報における鼻等の顔の構成部品の位置および光源の方向に関する情報から、顔の輪郭内における濃度分布が得られる。 Then, to estimate the contour of the face area from the information on the face direction of the information I, the information about the position and direction of the light source of the components of the face of the nose or the like in the information on the face direction, the concentration distribution in the contour of the face It is obtained. したがって、この濃度分布に基づいて、顔領域候補Fにおける顔の輪郭内の領域中に存在する高濃度域および低濃度域の全ての肌色の領域が含まれるように肌色空間を定義することにより、顔領域のコントラストが大きくとも顔領域候補Fの肌色が全て抽出されるように肌色空間を定義することができ、これにより肌色領域Hを正確に抽出することができる。 Therefore, based on this concentration distribution, by defining the skin color space to include the regions of all the flesh color of a high density region and low density region which is present in a region within the contour of the face in the face region candidates F, even greater contrast of the face region can define a skin color space as all extracted skin color of the face region candidate F, thereby it is possible to accurately extract a skin color region H.
【0061】 [0061]
また、領域指定手段11において顔を含む所定範囲の領域を顔領域候補Fとして設定し、この設定された顔領域候補Fにおいてテンプレートマッチングを行うようにしたため、顔画像全体においてテンプレートマッチングを行う場合と比較して、マッチングのための演算時間を短縮することができる。 Further, to set the region of a predetermined range including a face in the region designation unit 11 as a face area candidate F, due to to perform template matching in this setting face region candidates F, in the case of performing the template matching in the entire face image in comparison, it is possible to shorten the calculation time for matching.
【0062】 [0062]
なお、上記実施形態においては、情報Iとして顔の向きに関する情報および光源の方向に関する情報を得、これらに基づいて肌色領域Hを抽出しているが、情報Iに基づいて顔領域候補Fから目、鼻などの顔の構成部品の位置を知ることができ、これにより情報Iを用いて顔領域候補Fからの顔の構成部品の抽出を簡易に行うことができる。 In the embodiment described above, to obtain information about the direction of the information and the light source about the direction of the face as an information I, but to extract the skin color area H on the basis of these, eyes from the face region candidate F based on the information I , it is possible to know the position of the components of the face such as the nose, which makes it possible to perform simply the extraction of the components of the face from the face region candidate F using the information I.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明の実施形態による画像処理装置の構成を示すブロック図【図2】顔領域候補Fの指定を説明するための図【図3】顔領域候補Fの指定を説明するための図【図4】階層化されたテンプレートを示す図【図5】3次元テンプレートの例を示す図【図6】肌色領域の抽出を説明するための図【図7】 Log-Polar変換した顔領域候補を示す図【図8】本実施形態の動作を示すフローチャート【符号の説明】 Block diagram showing the configuration of an image processing apparatus according to an embodiment of the present invention; FIG 2 shows a face for explaining the designation of area candidates F Figure 3 shows for explaining the designation of the face region candidate F Figure 4 shows layered Figure 7 Log-Polar transformed face area of ​​FIG. 6 for describing the extraction of a skin color area of ​​an example of FIG. 5 shows a three-dimensional template shown the template was flowchart of Figure 8 the operation of this embodiment showing a candidate eXPLANATION oF REFERENCE nUMERALS
1 読出手段2 顔抽出手段3 画像処理手段4 出力手段5 モニタ6 入力手段11 領域指定手段12 領域抽出手段13 テンプレート記憶手段14 マッチング手段15 肌色領域抽出手段 1 reading unit 2 face extraction means third image processing means 4 output unit 5 monitors 6 input means 11 region designation means 12 region extracting means 13 template storage unit 14 matching means 15 skin color area extracting means

Claims (33)

  1. 顔の輪郭および顔の構成部品を含むとともに、 少なくとも大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種または黒色人種別の顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートを、前記顔の種類に応じて予め作成された複数の基準テンプレートにおける前記顔の向きおよび前記光源の方向を変更することにより取得しつつ、該顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定し、 Together comprising a contour and facial components of the face, is irradiated at least adults, children, babies, the elderly, female, male, yellow race, Caucasian or type of face black man type, the orientation and the face of the face the direction of the light source at least a plurality of different face templates while acquired by changing the orientation and direction of the light source of the face in the face plurality of reference templates created in advance according to the type of, and said pigment template performing template matching to determine the matching degree between the face image including a face of a person to determine the degree of matching the highest face template,
    該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得することを特徴とするマッチング方法。 Based on the matching degree is highest face template matching method characterized by obtaining information about the direction of the light source to be irradiated in the direction and said pigment of the face in the face region including the face on the facial image.
  2. 前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定し、 A region of a predetermined range including the face area set as a face region candidate in the face image,
    該顔領域候補内において前記テンプレートマッチングを行うことを特徴とする請求項1記載のマッチング方法。 Matching method according to claim 1, characterized in that the template matching in said pigment region candidate.
  3. 前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行うことを特徴とする請求項1または2記載のマッチング方法。 The template matching, according to claim 1 or 2 matching method and performing by obtaining a hierarchical matching degree for the plurality of face templates.
  4. 請求項1から3のいずれか1項記載のマッチング方法により取得された前記顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求め、 Based on the orientation and information about the direction of the light source of the face obtained by the matching method according to any one of claims 1 to 3, determine the concentration distribution of skin color in the face area,
    該濃度分布に基づいて前記顔画像における肌色空間を定義し、 Define the skin color space in the face image based on the concentration distribution,
    前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出することを特徴とする画像処理方法。 Image processing method characterized by extracting a region corresponding to the skin color space in the face image as the face area.
  5. 前記肌色領域に対して所定の画像処理を施すことを特徴とする請求項4記載の画像処理方法。 The image processing method according to claim 4, wherein performing predetermined image processing on the skin color region.
  6. 顔の輪郭および顔の構成部品を含むとともに、 少なくとも大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種または黒色人種別の顔の種類に応じて予め作成された複数の基準テンプレートを記憶する基準テンプレート記憶手段と、 Together comprising a contour and facial components of the face, at least an adult, child, baby, the elderly, female, male, yellow race, a plurality of reference created in advance according to the type of the face of a white race or black person type a reference template storage means for storing the template,
    前記複数の基準テンプレートにおける顔の向きおよび光源の方向を変更することにより前記複数の顔テンプレートを作成するテンプレート作成手段と、 A template creating means for creating a plurality of face templates by changing the orientation and the source of the face in the plurality of reference templates,
    該テンプレート作成手段により作成された前記顔の種類、前記顔の向きおよび前記光源の方向が異なる複数の顔テンプレートを取得しつつ、該顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定するテンプレートマッチング手段と、 Type of the face created by the template creating means, while the orientation and direction of the light source of the face obtains a plurality of different face templates, obtaining the matching degree between the face image including a face of said pigment templates and persons performing template matching, template matching means for said matching degree is determined the highest face template,
    該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得する情報取得手段とを備えたことを特徴とするマッチング装置。 Based on the matching degree is highest face template, further comprising an information obtaining means for obtaining information about the direction of the light source to be irradiated in the direction and said pigment of the face in the face region including the face on the facial image matching apparatus according to claim.
  7. 前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定する領域設定手段をさらに備え、 Further comprising an area setting unit configured to set as a face region candidate region in a predetermined range including the face area in the face image,
    前記テンプレートマッチング手段は、前記顔領域候補内において前記テンプレートマッチングを行う手段であることを特徴とする請求項6記載のマッチング装置。 The template matching means, matching apparatus according to claim 6, wherein the in the face region candidate is a means for performing the template matching.
  8. 前記テンプレートマッチング手段は、前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行う手段であることを特徴とする請求項6または7記載のマッチング装置。 The template matching means, the template matching, matching apparatus according to claim 6 or 7, wherein the a means for performing the determining the hierarchically matching degree for the plurality of face templates.
  9. 請求項6から8のいずれか1項記載のマッチング装置により取得された前記顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求める手段と、 Based on the orientation and information about the direction of the light source of the face obtained by the matching device according to any one of claims 6 8, a means for obtaining a concentration distribution of skin color in the face area,
    該濃度分布に基づいて前記顔画像における肌色空間を定義する手段と、 It means for defining a skin color space in the face image based on the concentration distribution,
    前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出する手段とを備えたことを特徴とする画像処理装置。 The image processing apparatus characterized by comprising a means for extracting a region corresponding to the skin color space in the face image as the face area.
  10. 前記肌色領域に対して所定の画像処理を施す手段をさらに備えたことを特徴とする請求項9記載の画像処理装置。 The image processing apparatus according to claim 9, wherein the further comprising means for performing predetermined image processing on the skin color region.
  11. 顔の輪郭および顔の構成部品を含むとともに、 少なくとも大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種または黒色人種別の顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートを、前記顔の種類に応じて予め作成された複数の基準テンプレートにおける前記顔の向きおよび前記光源の方向を変更することにより取得しつつ、該顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定する手順と、 Together comprising a contour and facial components of the face, is irradiated at least adults, children, babies, the elderly, female, male, yellow race, Caucasian or type of face black man type, the orientation and the face of the face the direction of the light source at least a plurality of different face templates while acquired by changing the orientation and direction of the light source of the face in the face plurality of reference templates created in advance according to the type of, and said pigment template performing template matching to determine the matching degree between the face image including a face of a person, the procedure in which the matching degree is determined the highest face template,
    該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得する手順とを有するマッチング方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。 Based on the matching degree is highest face template, a matching method on a computer and a procedure for acquiring the information about the direction of the light source to be irradiated in the direction and said pigment of the face in the face region including the face on the facial image computer-readable recording medium a program for implementing.
  12. 前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定する手順をさらに有し、 Further comprising the steps of setting a region of a predetermined range including the face area as the face region candidate in the face image,
    前記テンプレートマッチングを行う手順は、該顔領域候補内において前記テンプレートマッチングを行う手順であることを特徴とする請求項11記載のコンピュータ読取り可能な記録媒体。 Procedure for the template matching, computer-readable recording medium according to claim 11, wherein it is a procedure for the template matching in said pigment region candidate.
  13. 前記テンプレートマッチングを行う手順は、前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行う手順であることを特徴とする請求項11または12記載のコンピュータ読取り可能な記録媒体。 Procedure for the template matching, the template matching, the plurality of face templates for hierarchically claim 11 or 12, wherein the computer-readable recording medium characterized in that it is a procedure carried out by determining the degree of matching .
  14. 請求項1から3のいずれか1項記載のマッチング方法により取得された前記顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求める手順と、 And based on the information about the orientation and the light source of the face obtained by the matching method according to any one of claims 1 to 3, to determine the concentration distribution of skin color in the face area procedure,
    該濃度分布に基づいて前記顔画像における肌色空間を定義する手順と、 A step of defining a skin color space in the face image based on the concentration distribution,
    前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出する手順とを有することを特徴とするコンピュータ読取り可能な記録媒体。 Computer readable recording medium characterized by having a step of extracting a region corresponding to the skin color space in the face image as the face area.
  15. 前記肌色領域に対して所定の画像処理を施す手順をさらに有することを特徴とする請求項14記載のコンピュータ読取り可能な記録媒体。 A computer-readable recording medium according to claim 14, wherein the further comprising the step of performing predetermined image processing on the skin color region.
  16. 顔の輪郭および顔の構成部品を含むとともに、 少なくとも大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種または黒色人種別の顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定し、 Together comprising a contour and facial components of the face, is irradiated at least adults, children, babies, the elderly, female, male, yellow race, Caucasian or type of face black man type, the orientation and the face of the face direction of the light source by performing template matching to determine the matching degree between the face image including a face of at least a plurality of different face template and the person to determine the degree of matching the highest face template,
    該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得し、 Based on the matching degree is highest face template, to obtain information about the direction of the light source to be irradiated in the direction and said pigment of the face in the face region including the face on the facial image,
    該顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求め、 Based on the orientation and information about the direction of the light source of said pigment, determine the concentration distribution of skin color in the face area,
    該濃度分布に基づいて前記顔画像における肌色空間を定義し、 Define the skin color space in the face image based on the concentration distribution,
    前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出することを特徴とする画像処理方法。 Image processing method characterized by extracting a region corresponding to the skin color space in the face image as the face area.
  17. 前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定し、 A region of a predetermined range including the face area set as a face region candidate in the face image,
    該顔領域候補内において前記テンプレートマッチングを行うことを特徴とする請求項16記載の画像処理方法。 The image processing method according to claim 16, wherein: performing the template matching in said pigment region candidate.
  18. 前記複数の顔テンプレートが予め作成されてなることを特徴とする請求項16または17記載の画像処理方法。 The image processing method according to claim 16 or 17, wherein said plurality of face templates, which are created in advance.
  19. 前記複数の顔テンプレートが、前記顔の種類に応じて予め作成された複数の基準テンプレートにおける顔の向きおよび光源の方向を変更することにより作成され、 Wherein the plurality of face templates, created by changing the orientation and the source of the face in the face plurality of reference templates created in advance according to the kind of,
    前記顔の向きおよび光源の方向が変更された顔テンプレートを取得しつつ前記テンプレートマッチングを行うことを特徴とする請求項16または17記載の画像処理方法。 The image processing method according to claim 16 or 17, wherein: performing the template matching while obtaining the face orientation and the light source face templates direction has been changed.
  20. 前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行うことを特徴とする請求項16から19のいずれか1項記載の画像処理方法。 The template matching, the image processing method of any one of claims 16 to 19, characterized in that by determining the hierarchically matching degree for the plurality of face templates.
  21. 前記肌色領域に対して所定の画像処理を施すことを特徴とする請求項16から20のいずれか1項記載の画像処理方法。 The image processing method according to any one of claims 16 20, characterized in that executes predetermined image processing on the skin color region.
  22. 顔の輪郭および顔の構成部品を含むとともに、 少なくとも大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種または黒色人種別の顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定するテンプレートマッチング手段と、 Together comprising a contour and facial components of the face, is irradiated at least adults, children, babies, the elderly, female, male, yellow race, Caucasian or type of face black man type, the orientation and the face of the face direction of the light source by performing template matching to determine the matching degree between the face image including a face of at least a plurality of different face template and the person, and the template matching means for said matching degree is determined the highest face template,
    該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得する情報取得手段と、 Based on the matching degree is highest face template, and information obtaining means for obtaining information about the direction of the light source to be irradiated in the direction and said pigment of the face in the face region including the face on the facial image,
    該顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求める手段と、 Based on the orientation and information about the direction of the light source of said pigment, and means for obtaining a concentration distribution of skin color in the face area,
    該濃度分布に基づいて前記顔画像における肌色空間を定義する手段と、 It means for defining a skin color space in the face image based on the concentration distribution,
    前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出する手段とを備えたことを特徴とする画像処理装置。 The image processing apparatus characterized by comprising a means for extracting a region corresponding to the skin color space in the face image as the face area.
  23. 前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定する領域設定手段をさらに備え、 Further comprising an area setting unit configured to set as a face region candidate region in a predetermined range including the face area in the face image,
    前記テンプレートマッチング手段は、前記顔領域候補内において前記テンプレートマッチングを行う手段であることを特徴とする請求項22記載の画像処理装置。 The template matching unit, an image processing apparatus according to claim 22, wherein the in the face region candidate is a means for performing the template matching.
  24. 前記複数の顔テンプレートを記憶するテンプレート記憶手段をさらに備えたことを特徴とする請求項22または23記載の画像処理装置。 The image processing apparatus according to claim 22 or 23, wherein further comprising a template storing means for storing the plurality of face templates.
  25. 前記顔の種類に応じて予め作成された複数の基準テンプレートを記憶する基準テンプレート記憶手段と、 A reference template storage means for storing a plurality of reference templates created in advance according to the type of the face,
    前記複数の基準テンプレートにおける顔の向きおよび光源の方向を変更することにより前記複数の顔テンプレートを作成するテンプレート作成手段とをさらに備え、 Anda template creating means for creating a plurality of face templates by changing the orientation and the source of the face in the plurality of reference templates,
    前記テンプレートマッチング手段は、該テンプレート作成手段により作成された前記顔の向きおよび光源の方向が異なる顔テンプレートを取得しつつ前記テンプレートマッチングを行う手段であることを特徴とする請求項22または23記載の画像処理装置。 The template matching means, the said face created by the template creating means orientation and of claim 22 or 23, wherein in that the direction of the light source is a means for performing the template matching while obtaining a different face templates image processing apparatus.
  26. 前記テンプレートマッチング手段は、前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行う手段であることを特徴とする請求項22から25のいずれか1項記載の画像処理装置。 The template matching means, the template matching, the plurality of face templates for hierarchically image processing apparatus according to any one of 25 claims 22, characterized in that the means for performing by obtaining a matching degree .
  27. 前記肌色領域に対して所定の画像処理を施す手段をさらに備えたことを特徴とする請求項22から26のいずれか1項記載の画像処理装置。 The image processing apparatus according to any one of 26 claims 22, characterized in that with respect to the skin color region further comprising means for performing predetermined image processing.
  28. 顔の輪郭および顔の構成部品を含むとともに、 少なくとも大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種または黒色人種別の顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定する手順と、 Together comprising a contour and facial components of the face, is irradiated at least adults, children, babies, the elderly, female, male, yellow race, Caucasian or type of face black man type, the orientation and the face of the face direction of the light source by performing template matching to determine the matching degree between the face image including a face of at least a plurality of different face template and the person, the procedure in which the matching degree is determined the highest face template,
    該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得する手順と、 A procedure based on the matching degree is highest face template, to obtain information about the direction of the light source to be irradiated in the direction and said pigment of the face in the face region including the face on the facial image,
    該顔領域における肌色の濃度分布を求める手順と、 A step of obtaining a concentration distribution of skin color in said pigment region,
    該濃度分布に基づいて前記顔画像における肌色空間を定義する手順と、 A step of defining a skin color space in the face image based on the concentration distribution,
    前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出する手順とを有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。 Computer-readable recording medium storing a program for executing the image processing method characterized to a computer that has a procedure for extracting a region corresponding to the skin color space in the face image as the face area.
  29. 前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定する手順をさらに有し、 Further comprising the steps of setting a region of a predetermined range including the face area as the face region candidate in the face image,
    前記テンプレートマッチングを行う手順は、該顔領域候補内において前記テンプレートマッチングを行う手順であることを特徴とする請求項28記載のコンピュータ読取り可能な記録媒体。 Procedure for the template matching, computer-readable recording medium according to claim 28, wherein it is a procedure for the template matching in said pigment region candidate.
  30. 前記複数の顔テンプレートが予め作成されてなることを特徴とする請求項28または29記載のコンピュータ読取り可能な記録媒体。 Wherein the plurality of face templates of claim 28 or 29, wherein the composed previously created computer-readable recording medium.
  31. 前記複数の顔テンプレートを、前記顔の種類に応じて予め作成された複数の基準テンプレートにおける顔の向きおよび光源の方向を変更することにより作成する手順をさらに有し、 Wherein the plurality of face templates, further comprising the steps of creating by changing the orientation and the source of the face in the plurality of reference templates created in advance according to the type of the face,
    前記テンプレートマッチングを行う手順は、前記顔の向きおよび光源の方向が変更された顔テンプレートを取得しつつ前記テンプレートマッチングを行う手順であることを特徴とする請求項28または29記載のコンピュータ読取り可能な記録媒体。 Procedure for the template matching, it can be read by a computer according to claim 28 or 29, wherein the direction of orientation and the light source of the face is a procedure for the template matching while obtaining the changed face template recoding media.
  32. 前記テンプレートマッチングを行う手順は、前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行う手順であることを特徴とする請求項28から31のいずれか1項記載のコンピュータ読取り可能な記録媒体。 Procedure for the template matching, the template matching, according to any one of 31 claims 28, characterized in that the steps carried out by determining the hierarchically matching degree for the plurality of face templates computer readable recording medium.
  33. 前記肌色領域に対して所定の画像処理を施す手順をさらに有することを特徴とする請求項28から32のいずれか1項記載のコンピュータ読取り可能な記録媒体。 Computer-readable recording medium according to any one of claims 28 32, characterized in that it further comprising the step of performing predetermined image processing on the skin color region.
JP2000028520A 2000-02-07 2000-02-07 Matching method, apparatus, and recording medium Active JP4219521B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000028520A JP4219521B2 (en) 2000-02-07 2000-02-07 Matching method, apparatus, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000028520A JP4219521B2 (en) 2000-02-07 2000-02-07 Matching method, apparatus, and recording medium

Publications (2)

Publication Number Publication Date
JP2001216518A JP2001216518A (en) 2001-08-10
JP4219521B2 true JP4219521B2 (en) 2009-02-04

Family

ID=18553909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000028520A Active JP4219521B2 (en) 2000-02-07 2000-02-07 Matching method, apparatus, and recording medium

Country Status (1)

Country Link
JP (1) JP4219521B2 (en)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4578000B2 (en) * 2001-01-29 2010-11-10 株式会社バンダイナムコゲームス Pattern recognition apparatus, method and information storage medium
JP4553141B2 (en) * 2003-08-29 2010-09-29 日本電気株式会社 Object pose estimation and matching system using weight information
US8553949B2 (en) 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
CN1860501A (en) * 2004-03-24 2006-11-08 三菱电机株式会社 System for estimating attitude at specific part, methode for estimating attitude at specific part, and program for estimating attitude at specific part
JP2005316581A (en) * 2004-04-27 2005-11-10 Konica Minolta Photo Imaging Inc Image processing method, image processor and image processing program
JP4574249B2 (en) * 2004-06-29 2010-11-04 キヤノン株式会社 The image processing apparatus and method, a program, an imaging apparatus
US20080170792A1 (en) * 2005-06-30 2008-07-17 Olympus Intellectual Property Services Co., Ltd. Apparatus and Method for Identifying Marker
KR101303877B1 (en) 2005-08-05 2013-09-04 삼성전자주식회사 Method and apparatus for serving prefer color conversion of skin color applying face detection and skin area detection
JP2007052547A (en) * 2005-08-16 2007-03-01 Kddi Corp Face detector
JP2007220004A (en) 2006-02-20 2007-08-30 Funai Electric Co Ltd Television and authentication device
KR100776880B1 (en) * 2006-08-31 2007-11-19 미쓰비시덴키 가부시키가이샤 System for estimating attitude at specific part, methode for estimating attitude at specific part, and program for estimating attitude at specific part
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
JP4999731B2 (en) * 2008-02-29 2012-08-15 セコム株式会社 Face image processing apparatus
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance

Also Published As

Publication number Publication date
JP2001216518A (en) 2001-08-10

Similar Documents

Publication Publication Date Title
EP1030267B1 (en) Method of correcting face image, makeup simulation method, makeup method, makeup supporting device and foundation transfer film
JP4396387B2 (en) The image correction apparatus
CN1475969B (en) Method and system for intensify human image pattern
US6389155B2 (en) Image processing apparatus
US8379958B2 (en) Image processing apparatus and image processing method
JP4461789B2 (en) Image processing apparatus
Rowland et al. Manipulating facial appearance through shape and color
O’Toole et al. Three-dimensional shape and two-dimensional surface reflectance contributions to face recognition: An application of three-dimensional morphing
EP0991023B1 (en) A method of creating 3-D facial models starting from face images
US7039222B2 (en) Method and system for enhancing portrait images that are processed in a batch mode
JP4449723B2 (en) Image processing apparatus, image processing method, and program
US8380005B1 (en) System and method for image composition using non-destructive editing model and fast gradient solver
JP4344925B2 (en) Image processing apparatus, image processing method and printing system
US20070019882A1 (en) Makeup simulation program, makeup simulation device, and makeup simulation method
Setlur et al. Retargeting images and video for preserving information saliency
Benson et al. Synthesising continuous-tone caricatures
JP4574249B2 (en) The image processing apparatus and method, a program, an imaging apparatus
JP3539539B2 (en) The image processing apparatus, a recording medium recording an image processing method and image processing program
US7206445B2 (en) Method, apparatus and recording medium for image processing
JP2010146264A (en) Image processing device, method, and program
US8437514B2 (en) Cartoon face generation
CN101371272A (en) Makeup simulation system, makeup simulation device, makeup simulation method and makeup simulation program
JP2006350498A (en) Image processor and image processing method and program
JP2001126075A (en) Method and device for picture processing, and recording medium
US6862374B1 (en) Image processing device, image processing method, and recording medium storing the image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050912

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080527

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080819

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081112

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131121

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250