JP5242827B2 - Face image processing apparatus, a face image processing method, an electronic still camera, a digital image processing device and a digital image processing method - Google Patents

Face image processing apparatus, a face image processing method, an electronic still camera, a digital image processing device and a digital image processing method Download PDF

Info

Publication number
JP5242827B2
JP5242827B2 JP2012094753A JP2012094753A JP5242827B2 JP 5242827 B2 JP5242827 B2 JP 5242827B2 JP 2012094753 A JP2012094753 A JP 2012094753A JP 2012094753 A JP2012094753 A JP 2012094753A JP 5242827 B2 JP5242827 B2 JP 5242827B2
Authority
JP
Japan
Prior art keywords
image
face
plurality
persons
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012094753A
Other languages
Japanese (ja)
Other versions
JP2012186821A (en
Inventor
寛 助川
Original Assignee
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝 filed Critical 株式会社東芝
Priority to JP2012094753A priority Critical patent/JP5242827B2/en
Publication of JP2012186821A publication Critical patent/JP2012186821A/en
Application granted granted Critical
Publication of JP5242827B2 publication Critical patent/JP5242827B2/en
Anticipated expiration legal-status Critical
Application status is Active legal-status Critical

Links

Images

Description

本発明の実施形態は、顔画像処理装置、顔画像処理方法、電子スチルカメラ、デジタル画像処理装置およびデジタル画像処理方法に関する。 Embodiments of the present invention, a face image processing apparatus, a face image processing method, an electronic still camera, a digital image processing apparatus and a digital image processing method.

最近、電子スチルカメラ等のデジタル画像装置の普及はめざましく、様々な分野で広く利用がなされている。 Recently, popularity of digital image apparatus such as an electronic still camera is remarkable, there have been widely used in various fields.
たとえば、電子スチルカメラやTV電話、監視カメラで人物を撮影する場合、顔の向きや目や口などの状態が希望の状態の時に一人または複数の人物の顔を撮影しようとする時は、被撮影者に希望の状態に顔の状態をあわせてもらうといった方法をとるか、監視カメラなどではすべての時間において連続的にビデオテープなどを使って撮影を行い、後から最適な画像を目で見ながら選ぶといった方法をとっている。 For example, an electronic still camera or a TV phone, if you want to take pictures of people in a surveillance camera, when the state, such as the orientation and the eyes and mouth of the face when you try to shoot one person or the face of a plurality of persons in a state of hope, the or employ a method such as the photographer get together with the state of the face to the desired state, such as in the surveillance camera performs continuous shooting using, for example, video tape in all the time, looking at the optimal image later in the eye We are taking methods such as pick while.

しかし、一人または複数名を対象に撮影を行っている時に、撮影者の希望する画像を獲得するために被撮影者に対してあらかじめ顔の状態の希望を伝えてその状態にしてもらう必要があったり、複数人の撮影する場合には撮影してみて一人でも適さない状態の人がいた場合は、再度撮りなおしする必要がある。 However, when you're done shooting to target one or more names, there is a need to get to the state to convey the hope of pre-face of the state with respect to the person to be photographed in order to acquire the image desired by the photographer or, in the case of some people of the state that is not suitable even one person try to shoot in the case of more than one person shooting, there is a need to re-take again. そのため、監視のように撮影されていることを相手に知られたくない場合や複数の人物がいて常に全員がばらばらな顔の状態をしているような撮影対象の場合、非常に撮影が困難であるという問題がある。 Therefore, in the case of a shooting object, such as always everyone to have or if more than one person you do not want to be known to the other party that has been taken is the state of disparate face as monitoring, a very shooting is difficult there is a problem in that there is.

本発明が解決しようとする課題は、顔の表情を自動的に判断し希望の画像を獲得することができる顔画像処理装置、顔画像処理方法、電子スチルカメラ、デジタル画像処理装置およびデジタル画像処理方法を提供することである。 An object of the present invention is to provide a face image processing apparatus capable of acquiring an image of automatically determining wishes facial expressions, facial image processing method, an electronic still camera, a digital image processing apparatus and digital image processing it is to provide a method.

実施形態に係る顔画像処理装置は、顔画像を検出し、この顔画像を含む複数の人物の画像を入力する画像入力手段と、この画像入力手段により入力された複数の画像から1枚ごとに、あらかじめ作成された複数の目の状態にあわせた辞書の画像と得られた瞳の画像との類似度が最も高くなる状態を現在の目の状態とし、これを用いて前記複数の人物のそれぞれの顔が正面を向いているかどうか、もしくは瞳の開閉状態を判定し、撮影で必要とする状態に適した顔の状態を画像1枚ごとに確認しながら、前記複数の人物の各人ごとの顔の表情の評価値を用いて計算した画像1枚ごとの評価値が最も高くなる画像を選択して出力する画像選択手段とを具備する。 Face image processing apparatus according to the embodiment detects a face image, an image input unit for inputting an image of a plurality of persons, including the face image, one by one from a plurality of images input by the image input means , the state in which the degree of similarity is the highest with the image of the pupil obtained with the dictionary of images combined in a plurality of eye state created in advance with the current eye state, each of the plurality of persons using this face whether facing forward, or to determine the open or closed state of the pupil, while checking the state of the face which is suitable for conditions requiring shooting each one image, for each of each person of the plurality of persons evaluation value for each one image calculated to mount an image selection means for selecting the highest becomes image using the evaluation value of the facial expression.

実施形態に係るシステムの一例を示す構成図。 Diagram illustrating an example of a system according to the embodiment. 実施形態に係るシステムの処理に沿ったブロックダイアグラム。 Block diagram along the processing system according to the embodiment. 実施形態に係る顔領域抽出部の処理を説明する説明図。 Explanatory diagram for explaining a process of the face region extraction unit according to the embodiment. 実施形態に係る瞳検出部の円形分離度フィルターの処理を説明する説明図。 Explanatory diagram for explaining a process of a circular separability filter pupil detection unit according to the embodiment. 実施形態に係る瞳検出部及び鼻孔検出部における瞳と鼻孔と口の位置関係を説明する説明図。 Explanatory view illustrating the positional relationship between the pupil and the nostrils and mouth in the pupil detection unit and the nostrils detection unit according to the embodiment. 実施形態に係る瞳検出部の検出処理を説明する説明図。 Explanatory view illustrating the process of detecting the pupil detection unit according to the embodiment. 実施形態に係る口検出部の検出処理を説明する説明図。 Explanatory view illustrating the detection process of the mouth detecting unit according to the embodiment. 実施形態に係る瞳状態判定部の判定処理を説明する説明図。 Explanatory diagram for explaining a determination process of the pupil state determining unit according to the embodiment. 実施形態に係る瞳状態判定部の判定処理を示すフローチャート。 Flowchart showing a determination process of the pupil state determining unit according to the embodiment. 実施形態に係る瞳状態判定部の判定処理を説明する説明図。 Explanatory diagram for explaining a determination process of the pupil state determining unit according to the embodiment. 実施形態に係る口状態判定部の判定処理を説明するフローチャート。 Flow chart illustrating the determination process of the mouth state determination unit according to the embodiment. 実施形態に係る顔状態判定部の判定処理を説明する説明図。 Explanatory diagram for explaining a determination process of the face state determination unit according to the embodiment. 実施形態に係る顔サイズ補正部のサイズ補正処理を説明する説明図。 Explanatory view for explaining the size correction process of the face size correction unit according to the embodiment. 実施形態に係る撮影画像選択画面およびインターフェースを示す図。 Shows a photographic image selection screen and interface according to the embodiment.

以下、実施形態について図面を参照して説明する。 It will be described below with reference to the accompanying drawings embodiments.
初めに本方式を用いてテレビカメラや電子スチルカメラから入力された連続画像中に含まれる1人または複数の人物の顔の状態(表情)を認識し、撮影者の希望とする状態の顔を撮影する装置についての実施形態を示す。 Recognizing the state of the face of one or more persons included this system during continuous image input from the TV camera or an electronic still camera with the beginning (expression), the face of conditions and hope photographer It shows an embodiment of an apparatus for photographing.

(1)実施形態の全体処理概要の処理説明 (1) Action Description entire process outline embodiments
図1は、実施形態であるシステムの一例を示す構成図である。 Figure 1 is a block diagram showing an example of a system according to an embodiment. 図1において、本実施形態は、テレビカメラ及びモニタ1、PC(またはワークステーション)からなる装置2,3、または電子スチルカメラのような携帯型の筐体内部にPCと同様の計算及び記憶装置等を含み、液晶やプラズマ等の小型ディスプレイを装備した装置4からなる。 In Figure 1, the present embodiment, the television camera and monitor 1, PC (or workstation) consisting of devices 2 or the same portable housing inside the PC, such as electronic still cameras, computing and storage It comprises like, consisting of devices 4 equipped with a small display such as a liquid crystal or plasma.

図2は、実施形態であるシステムの処理に沿ったブロックダイアグラムである。 Figure 2 is a block diagram along the processing system according to an embodiment. 図2において、本実施形態に係るシステムは、画像入力部11と、画像蓄積部12と、顔領域抽出部13と、瞳検出部14と、鼻孔検出部15と、口検出部16と、瞳状態判定部17と、口状態判定部18と、顔状態判定部19と、属性別計数部20と、最適画像撮影部21と、最適画像合成部22と、顔サイズ補正部23と、出力部24とを有している。 2, the system according to this embodiment includes an image input unit 11, an image storage unit 12, a facial area extracting unit 13, a pupil detection unit 14, and the nostrils detector 15, and mouth detector 16, pupil a state determination unit 17, a mouth state determination unit 18, a face state determination unit 19, an attribute-counting unit 20, an optimum image capturing unit 21, an optimum image synthesizing unit 22, a face size correcting unit 23, an output unit and a 24.

このようなシステムにおいて、本実施形態の画像処理は以下のような手順で行われる。 In such a system, the image processing of the present embodiment is performed in the following procedure. つまり、画像入力部11からデジタイズされた画像を入力し、画像蓄積部12にその内容を連続して格納する。 In other words, type the digitized image from the image input unit 11, and stores the contents in the image storing unit 12 sequentially. 入力画像に対して顔領域抽出部13を適用することにより入力画像内に存在する一人または複数の人物の顔を抽出し、抽出された各顔領域において瞳検出部14、鼻孔検出部15、口検出部16を用いて顔内の目、鼻、口の部位を検出する。 Extracting the face of one person or more persons are present in the input image by applying the facial area extracting unit 13 with respect to the input image, pupil detecting section 14 in the extracted each face region, nostrils detection unit 15, the mouth detecting eyes in the face, nose, a portion of the mouth using the detection unit 16. 顔の各部位が検出されたら瞳状態判定部17及び口状態判定部18によって瞳の開閉状態や視線の状態、口の開閉状態等を求め、顔状態判定部19ではその結果を利用して被撮影者それぞれの顔の状態がどのような状態であるかを判定する。 Closed state and the line of sight of the state of the pupil, the mouth of the opening and closing state such as determined by the pupil state determining section 17 and the mouth status determination section 18 When each part of the face is detected, the using the results in the face state determination unit 19 It determines the state of the photographer each face is in any state.

属性別計数部20では撮影領域内にいる人物それぞれの性別、大人/子供等の属性をもとめ、属性毎及び撮影領域内全部の人数を計測する。 Demographic counting circuit 20 in each person in the photographing region gender, determine the attributes such as adult / child, to measure the attributes and for each number of imaging region total. 最適画像撮影部21では、得られた画像が撮影者の希望とする状態であるかどうかを一枚一枚毎に判定し、複数枚得られた画像の中で最も最適状態に近いものを出力し、最適画像合成部22では複数人物を撮影している場合には被撮影者それぞれにおいて最適の画像を保存し、最終出力画像で合成する。 In the optimal image capturing unit 21, the resulting image is determined whether the state is desired by the photographer for each one by one, outputting the closest to the optimum state in the plurality images obtained and, if you have taken a plurality of persons in the optimum image synthesizing unit 22 to save the best image in each target participant, synthesized in the final output image.
得られた結果や候補画像は入力画像サイズまたは顔サイズ補正部23によってサイズを補正しながら出力部24によって表示し、撮影者に結果を知らせる。 The obtained results and the candidate image is displayed by the output unit 24 while correcting the size by the input image size or face size correcting unit 23, informs the result to the photographer.

次に、それぞれの処理部11〜23に沿って詳細にその動作を図面を用いて説明する。 It will now be described with reference to the drawings the operation in detail along the respective processing units 11-23.

(2)画像入力部11の処理説明 (2) processing description of the image input unit 11
一名または複数名の人物が写るように設置された、動画像入力用のテレビカメラ及び静止画入力用の電子スチルカメラ等を利用して画像をカラーまたはモノクロでデジタイズして入力する。 It installed so Utsuru is one person or more names of persons, by using an electronic still camera or the like for the television camera and the still picture input moving image input and inputs the digitized images in color or monochrome. 入力画像の階調やサイズはとくに限定せずカメラの入力階調、入力解像度に従うこととする。 Tone and size of the input image is the camera input tone not limited particularly, and to follow the input resolution.

(3)画像蓄積部12の処理説明 (3) Action Description image storing section 12
画像入力部11から取り込まれた画像はそのままメモリに保存され、また直前(Nフレーム前まで)の複数の画像を別の領域に保存する。 Image captured from the image input unit 11 is directly stored in the memory, also storing a plurality of images of the immediately preceding (until N frames) to another area.

(4)顔領域抽出部13の処理説明 (4) Action Description facial area extracting unit 13
人物顔領域のうち、上下端は眉毛から唇付近、左右端は両目の両端の外側に位置する領域を顔検索用領域として定め、予め複数名の画像を利用して平均画像もしくはKL展開をして上位成分固有ベクトルを用いる等して顔探索用の顔辞書を作成する。 Among human face region, the upper and lower ends near the lips from eyebrows, left and right ends defines a region located outside of the both ends of the eyes as a face search area, the average image or KL expansion by using the image in advance a plurality name and the like using the upper component eigenvectors Te create a face dictionary for face search.

また、前もって顔探索用の辞書で様々な画像を評価し、顔辞書と類似度が高い領域で顔ではないものが得られたら非顔辞書として画像を収集する。 Also, advance to evaluate the various images in the dictionary for face search, collects the image as a non-face dictionary When obtain those not face a high similarity with the face dictionary area. 入力された画像に対して顔の大きさの影響をなくすために複数段階での拡大・縮小画像を作成し、それぞれの画像に対して複合類似度法もしくはテンプレートマッチング法を利用して顔領域の探索を行う。 Create a scaling images in a plurality of stages on the input image in order to eliminate the effect size of the face, the face area using the multiple similarity method or the template matching method for each image carry out the search. 走査する手順を図3の説明図に示す。 The procedure of scanning shown in the explanatory diagram of FIG. 顔領域は顔辞書と類似度が高く非顔辞書と類似度が低くなるのが理想で、 Face area is a similarity face dictionary similar to a high degree of non-face dictionary is made of is an ideal low,
評価値=顔辞書との類似度−非顔辞書との類似度 The degree of similarity between the evaluation value = face dictionary - the degree of similarity between the non-face dictionary
で与えられる評価値の最も高い場所を求め第一の顔検出領域とする。 The first face detection area seeking the highest point of the evaluation value given by. 最高値を出した領域と重ならず所定の距離以上離れた位置で所定の評価しきい値以上の評価値を与える領域に対しても顔の検出領域とすることで、複数人数が入力画像に入っている場合でも全員を検出し、被撮影領域中の人数を計測することも可能である。 Without overlapping and gave the highest region to a region providing an evaluation value over a predetermined evaluation threshold by a predetermined distance or more away by the detection area of ​​the face, a plurality number input image to find everyone, even if you are on, it is also possible to measure the number of people in the imaging area.

(5)瞳検出部14の処理説明 (5) Action Description pupil detector 14
顔領域抽出部13によって抽出された顔領域それぞれに対して、複数の半径で円形分離度フィルター(「動画像を用いた顔認識システム」、山口修他、信学技報 PRMU97−50,PP17−23を参照)をかけることで、円形で周りよりも暗くなっている場所を瞳候補点として列挙する。 For each extracted face region by the face region extraction unit 13, a circular separability filter in a plurality of radii ( "Face Recognition System using moving image", Yamaguchi Osamuta IEICE PRMU97-50, PP17- 23 below) the by applying the lists where that is darker than surrounding circular as pupil candidate points. 瞳領域は顔の上方領域にあると想定されるので、探索領域は顔全体に対して処理する必要はない。 Since the pupil region is assumed to be in the upper region of the face, the search region need not be processed for the entire face.

また、二値化されて暗いと判定された場所のみで図4に示された外側領域と内側領域それぞれにおける輝度分散の比率を求める円形分離度の計算をすることにより高速化をすることが可能である。 Further, it is possible to a speed by the calculation of the circularity degree of separation determining the ratio of the luminance dispersion in the binarized dark and only the determined locations each outer region and an inner region shown in FIG. 4 it is. 得られた候補点それぞれに対して次に用途に応じた幾何学配置条件を用いて候補点の組み合わせ(左右で一組)を絞り込む。 Obtained using the geometry conditions then according to the application with respect to the candidate points each Filter combination of candidate points (set left and right). たとえば、カメラからの距離によって両瞳間の距離の大小しきい値を決める。 For example, determining the magnitude threshold of the distance between pupils by the distance from the camera. 又は、正面静止状態の顔しかない場合は両瞳を結ぶ線が水平に近いように角度のしきい値を決める等である。 Or, if there is only frontal faces quiescent line connecting the two pupils is such determines the angle of threshold value as nearly horizontal. その両目それぞれに対して以下の評価値計算を行い左右の評価値を足したものをその組み合わせの評価値とする。 The plus the evaluation value of the right and left make the following evaluation value calculated for each of which eyes the evaluation value of the combination.
評価値=瞳辞書との類似度−非瞳辞書との類似度 なお、各辞書は前もって複数名の被験者のデータから顔領域抽出部13と同様に辞書を予め作成しておくものとし、この場合の瞳辞書は眼がねをかけている、目つぶり、横目、半目などといった各種の瞳の状態を全て別々の複数辞書として持ち、目つぶりや横目の状態など様々な状態でも安定して瞳領域を検出することができる。 Similarity evaluation value = pupil Dictionary - degree of similarity between the non-pupil dictionary Each dictionary is assumed to be created similarly a dictionary in advance from the subject data beforehand plurality name and facial area extracting unit 13, in this case Hitomi dictionary eye is multiplied by the root, blink, sideways Glance, has as all separate multiple dictionary various states of the pupil of, such as half a point, stable pupil area also in various states, such as closed eyes and courses of the state of it is possible to detect the.

また、非瞳辞書も瞳と間違いやすい鼻孔や目尻目頭、眉などのクラスを分け複数の辞書を持たせ、非瞳辞書の類似度計算の時にはその中で最も高い類似度を与える物を選択して計算することで色々な抽出失敗に対処する。 The non-pupil dictionaries error prone pupil nostrils and the outer or inner corner of the eye, to have a plurality of dictionaries Divide the class, such as eyebrows, when calculating the similarity of the non-pupil dictionary select the ones giving the highest similarity among them to deal with a variety of extraction failed to calculate Te. この様子を図6に示す。 This is shown in Figure 6.
また鼻孔検出部15と組み合わせて幾何学的な拘束条件を図5のように定めることで、瞳検出の精度を上げることが可能である。 Also by determining the geometric constraints in combination with the nostril detecting portion 15 as shown in FIG. 5, it is possible to increase the accuracy of the pupil detection.

(6)鼻孔検出部15の処理説明 (6) Processing Description nostril detecting portion 15
顔検出部13及び瞳検出部14の位置関係を用いて鼻領域を限定する。 Limiting the nasal area using the positional relationship of the face detection unit 13 and the pupil detection unit 14. 顔領域中央部であり両瞳よりも下において瞳検出部14と同様に二値化、円形分離度フィルター処理をすることで暗くて丸い部分の領域を鼻孔候補点として列挙し、それぞれに対して顔検出部と同様、鼻孔辞書、非鼻孔辞書と類似度計算をし以下の評価値を各点で求める。 Similarly binarized pupil detecting section 14 in the lower than pupils a face region center portion, the region of the rounded portion dark by a circular separability filter listed as nostril candidate points for each similar to face detection unit, nostrils dictionary, obtains the evaluation value following the similarity calculating a non nostrils dictionary at each point.
評価値=鼻孔辞書との類似度−非鼻孔辞書との類似度 また、候補点全ての2点の組み合わせの中で、予め与えてある瞳との幾何学的な配置条件に一致する中で上記評価値が最高となる一組の点(左右の2点)を求め、それを両鼻孔位置として検出する。 Similarity evaluation value = nostril Dictionary - The similarity between the non nostrils dictionary, in the combinations of candidate points all two points, the in matching the geometric arrangement condition of a pupil that is given in advance We obtain a set of points which the evaluation value is the highest (2 points left and right), to detect it as both nostrils position. また、瞳検出部14にも示したが幾何学配置条件の中で瞳と鼻孔の4点を行うことで精度を上げることも可能である。 It is also possible, as shown in pupil detector 14 to improve the accuracy by performing the 4-point between the pupil and the nostrils in the geometry conditions.

(7)口検出部16の処理説明 (7) the process described mouth detector 16
顔領域抽出部13、瞳検出部14及び鼻孔検出部15によって顔及び目鼻の配置が求められたため、両瞳の中心、両鼻孔の中心を求め平均的な幾何学配置を利用して口があるだろうと思われる計算を行う。 Facial area extracting unit 13, since the arrangement of the face and eye-nose by the pupil detection unit 14 and the nostril detecting section 15 determined, the center of the pupils there is a mouth by utilizing the average geometry find the center of both nostrils perform the calculations we think that it will. 図5は、本実施形態の瞳検出部14及び鼻孔検出部15における瞳と鼻孔と口の位置関係を説明する説明図であり、図5を参照されたい。 Figure 5 is an explanatory view illustrating the positional relationship between the pupil and the nostrils and mouth in the pupil detection unit 14 and the nostril detecting unit 15 of the present embodiment, see Figure 5.

また、口検出部16の処理の説明図が図7に示され、これは本実施形態における口検出部16の検出処理を説明する説明図である。 Further, illustration of the process of the mouth detecting unit 16 is shown in FIG. 7, which is an explanatory diagram for explaining the detection processing of the mouth detecting unit 16 in this embodiment.
図7において、その領域において最も暗い画素しか出ないような所定しきい値以下の輝度を持つ画素を黒画素にし、それ以外の画素を白画素とする二値化処理を行い、この画像を基準画像とする。 7, the pixel having the darkest only predetermined threshold below the brightness to prevent adverse pixel in that region to a black pixel, performs binarization processing for the other pixels and white pixels, based on the image and image. このしきい値でも抽出される領域は暗い部分もしくは黒い部分のため、ひげの領域もしくは開いている口の領域とする。 Because of this region dark portion or a black portion is also extracted by the threshold, the region or open mouth region of the beard. そこから徐々にしきい値を上げて二値化をし、基準画像との差分画像に対してラベリング処理を行い、横に長い領域(ラベル)がでてきて大きくなってきたらその領域が縦横それぞれ所定サイズ以上になった段階で口の領域とする。 A binarization gradually raising the threshold from which performs labeling processing on the difference image between the reference image, horizontal long area (label) After becoming large come out that area vertically and horizontally predetermined the mouth of the region at the stage of equal to or greater than the size. 一方で初期しきい値の二値化結果とサイズがほとんど変わらないのはひげなどのような真っ黒な領域は差分処理によって排除でき、口領域とは区別することができる。 On the other hand completely black areas, such as the beard of binarization result and the size of the initial threshold hardly changes can be eliminated by the difference processing can be distinguished from the mouth area.

(8)瞳状態判定部17の処理説明 (8) the process described in the pupil state determining section 17
瞳検出部14で求められた左右の各瞳領域にたいし、「目つぶり」「半目」「横目」「上目」等といった目の様々な状態にあわせて辞書を作成しておき、得られた瞳画像との類似度が最も高くなる状態を現在の瞳の状態と判定する。 For each pupil area of ​​the left and right obtained by the iris detection unit 14 in advance to create a "blink", "half a point", "sideways" dictionary in accordance with the various states of the eye such as "upward glance", etc., obtained and the state in which the degree of similarity is the highest of the pupil image determines that the current state of the pupil.

また、後述する顔状態判定部19にも書かれているようにどの状態を希望するのか撮影者側が予め選択されている場合には以下の方法で最適画像を選択するものとする。 Also, if either the photographer side to wish to which state as it is written in the face state determination unit 19 to be described later is preselected shall select the best image in the following manner.

図9は、瞳状態判定部17の判定処理を示すフローチャートである。 Figure 9 is a flowchart showing a determination process of the pupil state determining unit 17. この処理によって瞬きや視線の動きなど瞳の状態が逐次変わる状態であったときや目が細くて瞳の開閉の判定がしにくい被撮影者であっても最適な画像を選択することができる。 A is unlikely to be-photographed person determination and eyes narrow opening and closing of the pupil when the state of the pupil, such as the motion of blinking and gaze This treatment was sequentially changed state can also select an optimum image.

評価値は希望状態を示す辞書との類似度とそれ以外の辞書の中で最も高い類似度との差とする。 Evaluation value is the difference between the highest similarity among the similarity and non-dictionary and the dictionary indicating the desired state. この値が高いということは理想の状態に近く他の状態と明確に区別できる状態だと判断できる。 That this value is high, it can be determined that it is the state that is distinct from the nearby other state to the ideal of the state. この評価値を一枚の画像で判定すると目の細い人が開いた状態なのか大きな目の人が半目状態であるのかの区別がつけられないため、瞬きが開始して終わるまでの時間より時間だけ撮影を行うのに十分な枚数Nだけ連続に画像を蓄積し、評価値の分散及び平均値を計算する。 Since the evaluation value a piece thin people with eye when it is determined in the image of the state of whether the big eyes open of person is not given the distinction of what is a half a point state, time than the time to blink finishes to start only by storing the image in a continuous sufficient number N to perform imaging, calculating the variance and the mean value of the evaluation value.

図9において、評価値の分散が小さい場合には(S31)、目の状態の変化はほとんどないとして、平均値よりも高い時間が長い場合には(S32)、平均よりも高い評価値の中で最も平均に近い評価値を与える状態を最適画像とし(S35)、平均値よりも低い時間が長い場合には平均よりも低い評価値の中で最も平均に近い評価値を与える状態を最適画像として選択する(S33)。 9, when the variance of the evaluation value is small (S31), as little change in eye condition is higher time than the average value is longer (S32), in a high evaluation value than the average in the most average state giving closer evaluation value to the optimum image (S35), if the lower time than the average value is longer optimal conditions to give the most average closer to the evaluation value in a lower than the average evaluation value image is selected as the (S33). 逆に、分散が大きい場合には目の状態が大きく変動していると考えられ、最も高い評価値を与えるものを最適画像とする(S34)。 Conversely, considered eye condition greatly fluctuates when the variance is large, the optimum image that gives the highest evaluation value (S34).

図10は、本実施形態における瞳状態判定部17の判定処理を説明する説明図であり、これを例にとって説明すると、(a)と(b)は動きも少なく分散も小さく、平均よりも高い時間が長いために平均より高い中で最も平均値に近く評価値を与える画像を選択する。 Figure 10 is an explanatory diagram for explaining a determination process of the pupil state determining unit 17 in the present embodiment, when this is described as an example, (a) and (b) motion also less dispersion is small, higher than the average time to select the image that gives the most to the average value near evaluation value in a higher than the average for a long time. (c)では変動が大きく分散が大きくなるため、最高値を与える画像を選択する。 Because (c) varies in a large dispersion increases, it selects an image that gives the highest value. (d)では分散が小さく平均よりも低い時間が長いために、平均よりも低い評価値を与える中で最も平均値に近い画像を選択する。 For (d) less time than dispersing small average in a long, selects the image closest to the average value in giving lower than the average evaluation value.

(9)口状態判定部18の処理説明 (9) the process described mouth state determination unit 18
次に、口状態判定部16の処理のフローチャートを図11に示す。 Next, the flowchart of the process in the mouth state determination unit 16 in FIG. 11.
図11において、口の上下幅左右幅、及び上下左右幅、およびそれぞれに定めたしきい値との比較によって口が開いているか閉じているかの判定を行う。 11, it is determined or closed mouth is open by comparison with the mouth of the vertical width horizontal width, and vertical and horizontal widths, and determined each threshold. 口の上下幅が所定しきい値以上となれば(S41)、口が開いていると判定し(S44)、所定しきい値以下の場合で横幅が所定しきい値以上であれば(S42)、口が閉じていると判定する(S45)。 If the vertical width of the mouth is equal to or higher than a predetermined threshold value (S41), the mouth is determined to be open (S44), if the width is equal to or greater than the predetermined threshold value in the case of less than a predetermined threshold value (S42) , it is determined that the mouth is closed (S45). さらに、そのどちらにも属さない場合には、口の上下幅左右幅、及び上下左右幅を一定サイズになるように正規化した画像において複数の状態の辞書(普通の口、とんがっている口、くいしばり、あかんべぇ等それぞれにあわせて辞書を作成)と比較することで(S43)、口の状態を判定する(S46,S47)。 Furthermore, in the case which does not belong to either its mouth the vertical width horizontal width, and vertical in the normalized image to the left and right width becomes constant size dictionary of the plurality of states (usually of the mouth, are pointy mouth, clenched, by comparing the dictionary creation) and in accordance with the respective like Akanbee (S43), determines the state of the mouth (S46, S47).

(10)顔状態判定部19の処理説明 (10) Action Description face state determination unit 19
瞳状態判定部17及び口状態判定部18の出力を利用し、撮影者の希望する顔状態であるかどうかを判定する。 Utilizing the output of the pupil state determining unit 17 and the mouth status determination unit 18 determines whether the face state desired by the photographer. 希望の状態とは、たとえば、証明写真等の場合の状態とは「瞳が正面を向いて開いた状態であり、口は閉じた状態である」になり、スナップ写真等では「瞳が開いた状態で口の状態はどちらでもよい」「瞳が開いた状態で口が笑った状態」等となる。 The state of hope, for example, the state of the case, such as a photo ID, "a state in which the pupil is open facing the front, the mouth is closed" will be, "the pupil is opened in a snap photos, etc. mouth of state in the state will be either good "," state mouth laughed in a state in which the pupil is open ", and the like.

実際の瞳状態判定には、図12に示すような瞳と口の状態それぞれを縦軸、横軸にとったマトリクスを準備し、希望の状態であるかどうかをそれぞれのセルに入れていくといった形になる。 In practice pupil state determination, the respective states of the pupils and mouth, as shown in FIG. 12 the vertical axis, to prepare a matrix taken on the horizontal axis, such as will put whether the desired state to each of the cells It takes the form.

(11)属性別計数部20の処理説明 (11) Action Description demographic counting unit 20
顔領域抽出部13で抽出された顔領域それぞれにおいて、男女それぞれの平均顔からなる辞書、大人子供それぞれの平均顔からなる辞書、また国籍などそれぞれで平均顔画像辞書をもち、類似度計算をしてどちらに近いかで属性ごとに人数の計測を行い、得られた結果をもとに顔領域に対して属性のラベル付けを行う。 In face area respectively extracted in the face region extraction unit 13, a dictionary consisting of each of the average face gender, has an average face image dictionary dictionary consisting average face each adult children, and in each nationality, the similarity calculation It performs a measurement of the number of people in each attribute in or close to both Te, carried out the attributes of the label with respect to the face area on the basis of the results obtained. また属性に関係なく非撮影領域内に存在する人物の数を全部積算することにより人数計測を行うことができる。 Also it is possible to perform the people counting by integrating all the number of persons present in the non-imaging area regardless of the attribute.

(12)最適画像撮影部21の処理説明 (12) Action Description optimal image capturing section 21
所定時間内に蓄積された時系列連続画像の中において、顔状態判定部19で示したようなマトリクスを用い、撮影者の希望とする状態であるかどうかを、一枚一枚毎に、そして各人毎に、そして各部位毎に係数をかけて積算したものを評価値として求める。 In among the time-series consecutive images accumulated within a predetermined time, using a matrix as shown in the face state determination unit 19, whether a state is desired by the photographer, for each one by one, and to each person, and determining those obtained by integrating over the coefficients for each site as an evaluation value. 式は以下の通り。 As of expression is below.
評価値=(希望辞書との類似度−非希望辞書中最高類似度) Evaluation value = (the degree of similarity between the desired dictionary - non-desired dictionary in the highest degree of similarity)
ここで、「顔」は撮影領域内に含まれる全顔を示し、「部位」は各顔領域内における目と口を示す。 Here, "face" denotes the total face included in the photographing region, "site" indicates the eyes and mouth in each face region. 複数枚得た画像の中で上記評価値が最も高くなる画像を最適画像として選択する。 Selecting an image in which the evaluation value is the highest among the plurality obtained image as the optimal image.

(13)最適画像合成部22の処理説明 (13) Action Description optimal image synthesizing unit 22
複数人物を対象として撮影をしており、撮影領域内の全員が目を開いて笑っている(口を開いている)状態の写真を撮りたいなどといった希望の状態の撮影を行いたい場合、上記顔状態判定部19までの処理を所定時間繰り返すことで蓄積された画像の中で、被撮影者それぞれにおいて最適の画像を顔領域及び所定範囲の顔の周辺画像を保存し、最終出力画像で最適画像をあてはめて合成することで、被撮影者が撮影タイミングやまわりの調整が必要なく最適な画像を作成する。 Has been photographed as a target a plurality of persons, if you want to shoot the desired state, such as want to take a picture of the state (to have opened his mouth) that is laughing all the shooting in the area is to open the eyes, the the processing up to the face state determination unit 19 among the stored image by repeating a predetermined time, and save the peripheral image of the face of the image of the optimal face region and the predetermined range in each person to be photographed, the optimum in the final output image by combining by applying the image, the photographer to create an optimum image without adjustments around and shooting timing. 合成する場合には、できるだけ被撮影者が動かないことが前提であるが、動いてしまった場合には顔領域より大きめにとった保存領域の周辺に沿ってアンチエイリアス処理をかけることにより不自然な合成画像でなくなるように処理を行う。 In the case of the synthesis is the assumption that as much as possible the photographer does not work, if you've moved the unnatural by applying anti-aliasing along the periphery of the storage area taken in larger than the face area the process to be not composite image performs.

(14)顔サイズ補正部23の処理説明 (14) Action Description face size correcting unit 23
出力部24に出力する際に入力された画像をそのまま出力することもできるが、抽出された一人または複数人の顔領域の大きさに応じて出力画像の大きさを拡大・縮小する。 An input image when outputting to the output unit 24 may output as it is, to scale the size of the output image according to the size of the extracted person or persons face regions. 顔のサイズは顔領域抽出部13で用いた複数解像度の顔辞書のサイズを用いれば求めることができるのだがサイズの解像度分だけ解像度が必要となるため、ここでは別手法を用いる。 The size of the face for but I can be obtained by using the size of the multi-resolution face dictionary used in the facial area extracting unit 13 is required resolution by the resolution fraction size is used here another approach.

顔領域として抽出された領域内の輝度分布のみを利用して、白画素黒画素比率が一定となるようなP−Tile法、もしくは一定しきい値、判別分析法等の手法によって二値化を行い、顔領域を二値化した際のしきい値で顔の周辺領域を含む領域を二値化する。 By using only the luminance distribution in the extracted area as a face area, P-Tile method as white pixels black pixel ratio is constant or fixed threshold, the binarizing by a technique such as discriminant analysis performed, binarizing the region including a peripheral region of the face in the threshold when the binarized face area. 二値化された画像をラベリングすることで顔中心部を含む連結した領域が抽出され、その領域の左右端を顔の左右端としてその横幅の値をもって顔サイズとする。 (Ii) The labeling the binarized image region linked including the face center portion is extracted with, and face size with the value of the width of the left and right ends of the region as a right and left ends of the face. ただし、耳が出ている場合と髪の毛で耳が隠れる場合があるため、瞳検出部14によって求められた瞳位置、及び顔の左右端の位置を用いて分類を行う。 However, there are cases where the ear is hidden when the hair the ears are out, perform classification using pupil position determined by the pupil detection unit 14, and the positions of the right and left ends of the face.

図13に処理の説明図を示すが、両瞳の中心Dを基準にし向かって左側を例にとって説明する。 It shows a diagram of the process in FIG. 13 will be described as an example left side relative to the center D of the pupils. 顔の左端は耳が出ている場合はAの位置となり、ADの長さ/CDの長さが所定しきい値以上となるようにしきい値を予め設定しておく。 Left face if you are out ear becomes the position of A, length / length CD of AD in advance set the threshold so that the above predetermined threshold value. 仮に耳が髪の毛で隠れている場合には、左端位置はBの位置となるため(BDの長さ/CDの長さ)の値は耳が出ている場合より小さくなるため、ここで耳が出ているかどうかの判定を行う。 If when the ear is hidden by hair, to become smaller than the left edge position value for the position of B (length / length of the CD BD) is an out ear, ear where out made as to whether the decision is. 同様に反対側の耳についても耳が出ているかどうかを判定する。 Similarly, to determine whether or not have come up with ears for ear on the opposite side.

耳が出ていない場合にはそのまま左右端として抽出された位置を顔領域だとし、耳が出ている場合には複数人物のデータで予め計算された(A−D)/(B−D)の平均値を用いて耳位置に影響うけずにBの位置を計算して求める。 The position extracted as the left and right ends when the ear is not out and that it is the face area, if the ear is out precalculated in data of a plurality persons (A-D) / (B-D) determined by calculating the position of B without receiving influence to the ear position using the average value. 以上によって求められた顔サイズをもとに撮影者側が希望のサイズを入力していた場合には拡大縮小処理をすることで希望サイズでの画像出力を行う。 Outputs an image in desired size by the scaling processing in the case where the photographer side based on the face size determined have entered the desired size by more than.

(15)出力部24の処理説明 (15) Action Description output section 24
最後に出力部24の処理を以下に説明する。 Finally explaining the processing of the output section 24 below.
テレビカメラで据え置き型の装置の場合にはモニタ、携帯タイプのものでは内蔵されたモニタに最適画像及び最適候補画像を並べて出力を行う。 Monitoring in the case of a stationary device in a television camera, but the mobile type to output side by side optimized image and the optimum candidate image in a built-in monitor. 図14に示されたように最適画像と判定された画像が大きく出力され、その横には時間列にそって評価値の高いものを並べる。 Figure 14 the optimum image and the determined image is larger output as shown, in the next to arrange a higher evaluation value along the time sequence. もし希望の画像が候補列の方にある場合には、上下左右のボタンで希望画像を選択できるようにして最終出力画像を変更できるほか、図14の点線の四角で囲われた矩形領域Hのように各画像それぞれ顔領域に印をつけ、複数の画像の中から最適の顔を手動で合成することも可能である。 If when the desired image is located on a side of the candidate column, upper and lower left and right buttons to be able to select desired image other that can change the final output image, the rectangular area H surrounded by the dotted rectangle in Figure 14 mark each of the image face area as it is also possible to manually combining the best of the face from among a plurality of images.

以上述べた少なくとも1つの実施形態によれば、電子スチルカメラやTV電話、監視カメラで撮影などで一人または複数の人物の顔を撮影する場合、相手に希望の撮影状態や撮影していることを知らせることなく、さらに目の細さや動きの影響もうけず、顔が正面を向いているかどうか、瞳の開閉状態、口の開閉状態等を判定することができ、撮影で必要とする状態に適した顔の状態を確認しながら自動的に最適なものを選択して撮影を行うことができる。 According to at least one embodiment described above, an electronic still camera or a TV telephone, when shooting the face of one person or more persons like captured by a surveillance camera, that have taken state and shooting the desired opponent without informing further without providing influence of the fineness and movement eyes, whether the face is facing the front, it can be determined close state of the pupil, the mouth of the opening and closing state and the like, suitable conditions requiring shooting it can be carried out automatically taken to select the best one while checking the state of the face.
また、集合写真等など複数人物を撮影する場合に被撮影者それぞれの最適状態の画像を自動的に合成することで、被撮影者全員の最適な画像を容易に得ることが可能となる。 In addition, by automatically combining images of each person to be photographed in an optimum state when photographing a plurality of persons, such as a group photograph or the like, it is possible to easily obtain the optimum image of the photographer all.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。 Have been described several embodiments of the present invention, these embodiments have been presented by way of example only, and are not intended to limit the scope of the invention. これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。 These embodiments described herein may be embodied in other various forms, without departing from the spirit of the invention, various omissions, substitutions, changes may be made. これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Such embodiments and modifications as would fall within the scope and spirit of the invention, it is included in the invention and the scope of their equivalents are described in the claims.

1…カメラ、2…ディスプレイ、3…パーソナルコンピュータ又はワークステーション、4…PC同等の計算・記憶装置および内部表示装置を含むデジタルカメラ、11…画像入力部、12…画像蓄積部、13…顔領域抽出部、14…瞳検出部、15…鼻孔検出部、16…口検出部、17…瞳状態判定部、18…口状態判定部、19…顔状態判定部、20…属性別計数部、21…最適画像撮影部、22…最適画像合成部、23…顔サイズ補正部、24…出力部。 1 ... camera, 2 ... display, 3 ... personal computer or workstation, 4 ... PC equivalent calculation and storage device and a digital camera including an internal display device, 11 ... image input unit, 12 ... image storage unit, 13 ... face area extraction unit, 14 ... iris detection unit, 15 ... nostrils detector, 16 ... mouth detecting unit, 17 ... pupil state determining unit, 18 ... mouth state determination unit, 19 ... face state determination unit, 20 ... demographic counting unit, 21 ... optimal image capturing unit, 22 ... optimal image combining unit, 23 ... face size correcting unit, 24 ... output section.

Claims (8)

  1. 顔画像を検出し、この顔画像を含む複数の人物の画像を入力する画像入力手段と、 Detecting a face image, an image input unit for inputting an image of a plurality of persons, including the face image,
    この画像入力手段により入力された複数の画像から1枚ごとに、あらかじめ作成された複数の目の状態にあわせた辞書の画像と得られた瞳の画像との類似度が最も高くなる状態を現在の目の状態とし、これを用いて前記複数の人物のそれぞれの顔が正面を向いているかどうか、もしくは瞳の開閉状態を判定し、撮影で必要とする状態に適した顔の状態を画像1枚ごとに確認しながら、前記複数の人物の各人ごとの顔の表情の評価値を用いて計算した画像1枚ごとの評価値が最も高くなる画像を選択して出力する画像選択手段と、 From this image input means a plurality of images input by one by one, a state in which the degree of similarity is the highest with the image of the pupil obtained with the dictionary of images combined in a plurality of eye state created beforehand currently of the eye condition, whether said each of faces of a plurality of persons are facing the front with this, or to determine the open or closed state of the pupil, the image 1 the state of the appropriate face to conditions requiring shooting while checking for each sheet, an image selection means for evaluation values ​​for each one image calculated selects and outputs the highest becomes image using the evaluation value of the facial expression of each each person of the plurality of persons,
    を具備する顔画像処理装置。 Including a face image processing apparatus.
  2. 顔画像を含む複数の人物の画像を入力する画像入力工程と、 An image input step of inputting an image of a plurality of persons including the face image,
    この画像入力工程により入力された複数の画像から1枚ごとに、複数の人物の顔領域を抽出する顔領域抽出工程と、 From this image input step plurality of images input by one by one, and the face region extraction step of extracting a face region of a plurality of persons,
    この顔領域抽出工程により抽出された顔領域内から複数の人物の瞳を検出する瞳検出工程と、 A pupil detecting step of detecting the pupil of the plurality of persons from the extracted face region by the face region extraction step,
    この瞳検出工程により検出された前記複数の人物の瞳情報を用いてそれぞれの顔の表情が、撮影で必要とする状態に適した顔の状態であるかを評価し、この評価結果に基づき前記複数の画像の中で前記複数の人物の各人ごとの顔の表情の評価値を用いて計算した画像1枚ごとの評価値が最も高くなる画像を1枚選択する画像選択工程と、 Each facial expression using the pupil information of the plurality of persons detected by the pupil detection process is to evaluate whether the state of a face suitable for the condition requiring the shooting, the basis of this evaluation an image selection step of evaluation values ​​for each one image calculated to select one becomes largest image using the evaluation value of the facial expression of each each person of the plurality of persons in a plurality of images,
    を具備する顔画像処理方法。 Face image processing method comprising a.
  3. 顔画像を含む複数の人物の画像を入力する画像入力工程と、 An image input step of inputting an image of a plurality of persons including the face image,
    この画像入力工程により入力された複数の画像から1枚ごとに、複数の人物の顔領域を抽出する顔領域抽出工程と、 From this image input step plurality of images input by one by one, and the face region extraction step of extracting a face region of a plurality of persons,
    この顔領域抽出工程により抽出された顔領域内から複数の人物の瞳を検出する瞳検出工程と、 A pupil detecting step of detecting the pupil of the plurality of persons from the extracted face region by the face region extraction step,
    この瞳検出工程により検出された前記複数の人物の瞳情報を用いてそれぞれの顔の表情が、撮影で必要とする状態に適した顔の状態であるかを評価し、この評価結果に基づき前記複数の画像の中で前記複数の人物の各人ごとの顔の表情の評価値を用いて計算した画像1枚ごとの評価値が最も高くなる画像を複数枚選択する画像選択工程と、 Each facial expression using the pupil information of the plurality of persons detected by the pupil detection process is to evaluate whether the state of a face suitable for the condition requiring the shooting, the basis of this evaluation an image selection step of selecting a plurality of highest becomes image evaluation value for each one image calculated using the evaluation value of the facial expression of each each person of the plurality of persons in a plurality of images,
    この画像選択工程により選択された画像をディスプレイに表示する表示工程と、 A display step of displaying an image selected by the image selection process to display,
    を具備する顔画像処理方法。 Face image processing method comprising a.
  4. 顔画像を検出し、この顔画像を含む複数の人物の画像を入力する画像入力手段と、 Detecting a face image, an image input unit for inputting an image of a plurality of persons, including the face image,
    この画像入力手段により入力された複数の画像から1枚ごとに、あらかじめ作成された複数の目の状態にあわせた辞書の画像と得られた瞳の画像との類似度が最も高くなる状態を現在の目の状態とし、これを用いて前記複数の人物のそれぞれの顔が正面を向いているかどうか、もしくは瞳の開閉状態を判定し、撮影で必要とする状態に適した顔の状態を画像1枚ごとに確認しながら、前記複数の人物の各人ごとの顔の表情の評価値を用いて計算した画像1枚ごとの評価値が最も高くなる画像を選択して出力する画像選択手段と、 From this image input means a plurality of images input by one by one, a state in which the degree of similarity is the highest with the image of the pupil obtained with the dictionary of images combined in a plurality of eye state created beforehand currently of the eye condition, whether said each of faces of a plurality of persons are facing the front with this, or to determine the open or closed state of the pupil, the image 1 the state of the appropriate face to conditions requiring shooting while checking for each sheet, an image selection means for evaluation values ​​for each one image calculated selects and outputs the highest becomes image using the evaluation value of the facial expression of each each person of the plurality of persons,
    この画像選択手段により選択された画像をディスプレイに表示する表示手段と、 Display means for displaying the image selected by the image selecting means to the display,
    を具備する電子スチルカメラ。 An electronic still camera having a.
  5. 顔画像を検出し、この顔画像を含む複数の人物の画像を時系列に入力する画像入力手段と、 Detecting a face image, an image input unit for inputting an image of a plurality of persons, including the face image in time series,
    この画像入力手段により入力された複数の画像を蓄積する画像蓄積手段と、 An image storing means for storing a plurality of images input by the image input means,
    この画像蓄積手段により蓄積された複数の画像からあらかじめ登録された顔検索用の顔辞書に基づき顔領域を抽出する顔領域抽出手段と、 A face region extraction means for extracting a face region based on a face dictionary for face retrieval registered in advance from the stored plurality of images by the image storing means,
    この顔領域抽出手段により顔領域が抽出された複数の画像から1枚ごとに、あらかじめ作成された瞳または口の状態にあわせた辞書の画像と、得られた瞳または口の画像との類似度が最も高くなる状態を現在の瞳または口の状態とし、これを用いて前記複数の人物のそれぞれの口の開閉状態を判定し、撮影で必要とする状態に適した顔の状態であるか画像1枚ごとに確認しながら、前記複数の人物の各人ごとの顔の表情の評価値を用いて計算した画像1枚ごとの評価値が最も高くなる画像を選択して出力する画像選択手段と、 One by one from a plurality of images in which the face region is extracted by the face region extracting means, the similarity of the dictionary of images according to the state of the pre-made pupil or mouth, an image of the obtained pupil or mouth There was becomes highest state current pupil or mouth condition and used to determine the opening and closing states of the respective mouth of the plurality of persons, whether the state of a face suitable for the condition required by the captured image while checking one by one, an image selection means for evaluation values ​​for each one image calculated selects and outputs the highest becomes image using the evaluation value of the facial expression of each each person of the plurality of persons ,
    この画像選択手段により選択された画像をディスプレイに表示する表示手段と、 Display means for displaying the image selected by the image selecting means to the display,
    を具備する電子スチルカメラ。 An electronic still camera having a.
  6. 顔画像を検出し、この顔画像を含む複数の人物の画像を連続して入力する画像入力手段と、 Detecting a face image, an image input unit for inputting an image of a plurality of persons, including the face image in succession,
    この画像入力手段により入力された複数の画像を蓄積する画像蓄積手段と、 An image storing means for storing a plurality of images input by the image input means,
    この画像蓄積手段により蓄積された複数の画像からあらかじめ登録された顔検索用の顔辞書に基づき顔領域を抽出する顔領域抽出手段と、 A face region extraction means for extracting a face region based on a face dictionary for face retrieval registered in advance from the stored plurality of images by the image storing means,
    この顔領域抽出手段により顔領域が抽出された複数の画像から1枚ごとに、あらかじめ作成された瞳または口の状態にあわせた辞書の画像と、得られた瞳または口の画像との類似度が最も高くなる状態を現在の瞳または口の状態とし、これを用いて前記複数の人物のそれぞれの顔の口の開閉状態を判定し、撮影で必要とする状態に適した顔の状態であるか画像1枚ごとに確認しながら、前記複数の人物の各人ごとの顔の表情の評価値を用いて計算した画像1枚ごとの評価値が最も高くなる画像を選択して出力する画像選択手段と、 One by one from a plurality of images in which the face region is extracted by the face region extracting means, the similarity of the dictionary of images according to the state of the pre-made pupil or mouth, an image of the obtained pupil or mouth there was becomes highest state current pupil or mouth condition and used to determine the open or closed state of the mouth of each face of said plurality of persons, is in a state of the face which is suitable for conditions requiring shooting while checking whether the image one by one, the image selection evaluation value of each one image calculated selects and outputs the highest becomes image using the evaluation value of the facial expression of each each person of the plurality of persons and means,
    この画像選択手段により選択された画像をディスプレイに表示する表示手段と、 Display means for displaying the image selected by the image selecting means to the display,
    を具備するデジタル画像処理装置。 Digital image processing apparatus comprising.
  7. 動画より顔画像を検出し、この顔画像を含む複数の人物の画像を連続して入力する画像入力工程と、 It detects from facial images moving an image input step of inputting an image of a plurality of persons, including the face image in succession,
    この画像入力工程により入力された複数の画像を蓄積するが画像蓄積工程と、 While accumulating a plurality of images input by the image input step and an image storing step,
    この画像蓄積工程により蓄積された複数の画像からあらかじめ登録された顔検索用の顔辞書に基づき顔領域を抽出する顔領域抽出工程と、 A face region extraction step of extracting a face area based on the face dictionary for face retrieval registered in advance from the stored plurality of images by the image storing step,
    この顔領域抽出工程により顔領域が抽出された複数の画像から1枚ごとに、あらかじめ作成された瞳または口の状態にあわせた辞書の画像と、得られた瞳または口の画像との類似度が最も高くなる状態を現在の瞳または口の状態とし、これを用いて前記複数の人物のそれぞれの顔の口の開閉状態を判定し、撮影で必要とする状態に適した顔の状態であるか画像1枚ごとに確認しながら、前記複数の人物の各人ごとの顔の表情の評価値を用いて計算した画像1枚ごとの評価値が最も高くなる画像を選択して出力する画像選択工程と、 One by one from a plurality of images in which the face region is extracted by the face region extraction step, the similarity of the dictionary of images according to the state of the pre-made pupil or mouth, an image of the obtained pupil or mouth there was becomes highest state current pupil or mouth condition and used to determine the open or closed state of the mouth of each face of said plurality of persons, is in a state of the face which is suitable for conditions requiring shooting while checking whether the image one by one, the image selection evaluation value of each one image calculated selects and outputs the highest becomes image using the evaluation value of the facial expression of each each person of the plurality of persons and a step,
    この画像選択工程により選択された画像をディスプレイに表示する表示工程と、 A display step of displaying an image selected by the image selection process to display,
    を具備するデジタル画像処理方法。 Digital image processing method comprising the.
  8. 顔画像を検出し、この顔画像を含む複数の人物の画像を連続して入力する画像入力工程と、 Detecting a face image, an image input step of inputting an image of a plurality of persons, including the face image in succession,
    この画像入力工程により入力された複数の画像を蓄積する画像蓄積工程と、 An image storing step of storing a plurality of images input by the image input step,
    この画像蓄積工程により蓄積された複数の画像からあらかじめ登録された顔検索用の顔辞書に基づき顔領域を抽出する顔領域抽出工程と、 A face region extraction step of extracting a face area based on the face dictionary for face retrieval registered in advance from the stored plurality of images by the image storing step,
    この顔領域抽出工程により顔領域が抽出された複数の画像から1枚ごとに、あらかじめ作成された瞳または口の状態にあわせた辞書の画像と、得られた瞳または口の画像との類似度が最も高くなる状態を現在の瞳または口の状態とし、これを用いて前記複数の人物のそれぞれの顔の口の開閉状態を判定し、撮影で必要とする状態に適した顔の状態であるか画像1枚ごとに確認しながら、前記複数の人物の各人ごとの顔の表情の評価値を用いて計算した画像1枚ごとの評価値が最も高くなる画像を選択して出力する画像選択工程と、 One by one from a plurality of images in which the face region is extracted by the face region extraction step, the similarity of the dictionary of images according to the state of the pre-made pupil or mouth, an image of the obtained pupil or mouth there was becomes highest state current pupil or mouth condition and used to determine the open or closed state of the mouth of each face of said plurality of persons, is in a state of the face which is suitable for conditions requiring shooting while checking whether the image one by one, the image selection evaluation value of each one image calculated selects and outputs the highest becomes image using the evaluation value of the facial expression of each each person of the plurality of persons and a step,
    この画像選択工程により選択された画像をディスプレイに表示する表示工程と、 A display step of displaying an image selected by the image selection process to display,
    を具備するデジタル画像処理方法。 Digital image processing method comprising the.
JP2012094753A 2012-04-18 2012-04-18 Face image processing apparatus, a face image processing method, an electronic still camera, a digital image processing device and a digital image processing method Active JP5242827B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012094753A JP5242827B2 (en) 2012-04-18 2012-04-18 Face image processing apparatus, a face image processing method, an electronic still camera, a digital image processing device and a digital image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012094753A JP5242827B2 (en) 2012-04-18 2012-04-18 Face image processing apparatus, a face image processing method, an electronic still camera, a digital image processing device and a digital image processing method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011092307 Division 1999-03-08

Publications (2)

Publication Number Publication Date
JP2012186821A JP2012186821A (en) 2012-09-27
JP5242827B2 true JP5242827B2 (en) 2013-07-24

Family

ID=47016425

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012094753A Active JP5242827B2 (en) 2012-04-18 2012-04-18 Face image processing apparatus, a face image processing method, an electronic still camera, a digital image processing device and a digital image processing method

Country Status (1)

Country Link
JP (1) JP5242827B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6098133B2 (en) * 2012-11-21 2017-03-22 カシオ計算機株式会社 Face component extracting device, face components extraction method, and program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0883341A (en) * 1994-09-12 1996-03-26 Nippon Telegr & Teleph Corp <Ntt> Method and device for extracting object area and object recognizing device
JP3286887B2 (en) * 1995-11-28 2002-05-27 三菱電機株式会社 Face image processing apparatus and a face image processing method
JPH09212620A (en) * 1996-01-31 1997-08-15 Nissha Printing Co Ltd Manufacture of face image
JP3835771B2 (en) * 1996-03-15 2006-10-18 株式会社東芝 Communication apparatus and communication method
JP3279913B2 (en) * 1996-03-18 2002-04-30 株式会社東芝 People authentication device, feature point extracting unit and a feature point extraction method
JP3469031B2 (en) * 1997-02-18 2003-11-25 株式会社東芝 Face image registration apparatus and method

Also Published As

Publication number Publication date
JP2012186821A (en) 2012-09-27

Similar Documents

Publication Publication Date Title
US8698916B2 (en) Red-eye filter method and apparatus
US6297846B1 (en) Display control system for videoconference terminals
JP4999570B2 (en) Facial expression recognition apparatus and method, and an imaging device
EP1886255B1 (en) Using photographer identity to classify images
US8000505B2 (en) Determining the age of a human subject in a digital image
US7046924B2 (en) Method and computer program product for determining an area of importance in an image using eye monitoring information
US7574021B2 (en) Iris recognition for a secure facility
US7620218B2 (en) Real-time face tracking with reference images
KR101401165B1 (en) Image-capturing apparatus and method, expression evaluation apparatus, and recording medium
US7206022B2 (en) Camera system with eye monitoring
CN1320490C (en) Face detection and tracking
US20050084179A1 (en) Method and apparatus for performing iris recognition from an image
US20150172537A1 (en) Photographing apparatus, method and program
JP4264663B2 (en) Capturing apparatus, an image processing apparatus, and a program for executing the image processing method and the method in these computers
JP5818799B2 (en) The method of estimating the aesthetic quality of the digital image
EP0635983A2 (en) Method and means for detecting people in image sequences
US7565030B2 (en) Detecting orientation of digital images using face detection information
US8134604B2 (en) Camera shake correction device, camera shake correction method and imaging device
EP0984386A2 (en) Method of and apparatus for detecting a human face and observer tracking display
US8391645B2 (en) Detecting orientation of digital images using face detection information
US7580587B2 (en) Device and method for correcting image including person area
US8515136B2 (en) Image processing device, image device, image processing method
KR101280920B1 (en) Image recognition apparatus and method
Smith et al. Gaze locking: passive eye contact detection for human-object interaction
KR100556856B1 (en) Screen control method and apparatus in mobile telecommunication terminal equipment

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130403

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3