JP4743823B2 - The image processing apparatus, an imaging apparatus, an image processing method - Google Patents

The image processing apparatus, an imaging apparatus, an image processing method Download PDF

Info

Publication number
JP4743823B2
JP4743823B2 JP2004167588A JP2004167588A JP4743823B2 JP 4743823 B2 JP4743823 B2 JP 4743823B2 JP 2004167588 A JP2004167588 A JP 2004167588A JP 2004167588 A JP2004167588 A JP 2004167588A JP 4743823 B2 JP4743823 B2 JP 4743823B2
Authority
JP
Japan
Prior art keywords
face
image
region
feature
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004167588A
Other languages
Japanese (ja)
Other versions
JP2005056387A5 (en
JP2005056387A (en
Inventor
裕輔 御手洗
克彦 森
優和 真継
雄司 金田
崇士 鈴木
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2003199357 priority Critical
Priority to JP2003199357 priority
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to JP2004167588A priority patent/JP4743823B2/en
Priority claimed from EP15151440.3A external-priority patent/EP2955662B1/en
Priority claimed from CN200480024042.3A external-priority patent/CN1839410B/en
Publication of JP2005056387A publication Critical patent/JP2005056387A/en
Publication of JP2005056387A5 publication Critical patent/JP2005056387A5/ja
Application granted granted Critical
Publication of JP4743823B2 publication Critical patent/JP4743823B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、入力した画像中の顔などの被写体のカテゴリに係る判別を行う技術に関するものである。 The present invention relates to a technique for discriminating according to the category of the subject such as the face in the input image.

従来より、画像認識や音声認識の分野においては、特定の認識対象に特化した認識処理アルゴリズムを、コンピュータソフト、或いは専用並列画像処理プロセッサを用いたハードウェアにより実現することで、認識対象を検出するものが知られている。 Conventionally, in the field of image recognition and speech recognition, a recognition processing algorithm specialized to a particular recognized, to realize by computer software, or hardware using a dedicated parallel image processor, detects the recognition target those that are known.

特に、顔を含む画像から、この顔を特定の認識対象として検出するものとしては、従来からいくつかの文献が開示されている(例えば特許文献1乃至5を参照)。 In particular, (see for example, Patent Documents 1 to 5) from the image, those that detect the face as a specific recognition target, several documents from the prior art is disclosed including a face.

そのうちの1つの技術によると、入力画像に対して、標準顔と呼ばれるテンプレートを使って、顔領域を探索し、その後、眼、鼻孔、口といった特徴点候補に対して、部分テンプレートを使用して、人物を認証する。 According to one technique of which, by using a template for the input image, known as the normal face, it searches a face region, then the eye, nostril, the feature point candidates such mouth, using the partial template , to authenticate a person. しかしこの技術では、始めにテンプレートを使用して顔全体でマッチングして、顔領域を検出するため、複数の顔のサイズや、顔の向きの変化に弱く、それに対応するためには、サイズや顔の向きに対応した複数の標準顔を用意し、それぞれを用いて検出する必要があるが、顔全体のテンプレートはサイズも大きく、処理コストもかかる。 However, in this technique, matching with the entire face by using a template to start, to detect a face region, the size and the plurality of face, weakly to the change in the direction of the face, in order to cope with it, the size Ya preparing a plurality of standard face corresponding to the face direction, it is necessary to detect with each, the whole template face larger size, consuming and processing costs.

またその他の技術によると、顔画像から眼と口候補群を求め、それらを組み合わせた顔候補群と予め記憶してある顔構造とを照合し、眼と口に対応する領域を発見する。 Further, according to other technologies, seeking the eye and mouth candidates from the face image, and collates the facial structure that is previously stored with them and the combined face candidates, finding an area corresponding to the eyes and mouth. この技術にでは、入力画像中の顔の数は1つもしくは少数であり、また顔の大きさもある程度大きなサイズであり、入力画像中のほとんどの領域は顔であり、背景は少ない画像が入力画像として想定されている。 In this technique, the number of faces in the input image is a one or a few, also a big size to some extent the size of the face, most areas in the input image is a face, the background image with less input image It is assumed as.

またその他の技術によると、眼、鼻、口候補をそれぞれ複数求め、予め用意されている特徴点間の位置関係から、顔を検出する。 Further, according to other techniques, ocular, nasal, obtains a plurality mouth candidates respectively, from the positional relationship between the feature points which is prepared in advance, to detect a face.

またその他の技術によると、顔の各部品の形状データと入力画像との一致度を調べる際に、形状データを変更させるものであり、また各顔部品の探索領域は、以前に求めた部品の位置関係を基に決定するものである。 Further, according to other techniques, when examining the degree of coincidence between the shape data and the input image of each part of the face, it is intended to change the shape data and the search area of ​​each face part, part of the previously determined it is to determine based on the positional relationship. この技術では、虹彩、口、鼻等の形状データを保持しておき、まず2つの虹彩を求め、続いて口、鼻等を求める際に、その虹彩の位置に基づいて、口、鼻等の顔部品の探索領域を限定している。 In this technique, iris, mouth, holds the shape data of the nose, etc., and first obtains the two irises, followed by mouth, when obtaining the nose, etc., based on the position of the iris, mouth, nose, etc. We are limiting the search area of ​​the face parts. つまり、このアルゴリズムは、虹彩(眼)、口、鼻といった顔を構成する顔部品を並列的に検出するのではなく、虹彩(眼)を最初に見つけ、その結果を使用して、順に口、鼻という顔部品を検出している。 In other words, the algorithm iris (eye), the mouth, rather than parallel detection of face parts composing a face such as nose, first find the iris (eye), and uses the result, in turn mouth, and it detects the face parts of the nose. この方法では、画像中に顔が一つしかなく、さらに虹彩が正確に求まった場合を想定しており、検出された虹彩が誤検出であった場合には、口や鼻等の他の特徴の探索領域を正しく設定出来ない。 In this way, only one face in an image without assumes the case where further iris is Motoma' precisely, when was detected iris was erroneously detected, the mouth and other features of the nose, etc. It can not properly set the search area.

またその他の技術によると、複数の判定要素取得領域を設定した領域モデルを入力画像中で移動させ、各点で、それら判定要素取得領域内で、判定要素の有無を判定し、顔を認識するものである。 Further, according to other techniques, to move the region model set multiple determination element acquisition region in the input image, at each point, with their determination element acquisition region, and determining the presence or absence of determination elements, recognizing a face it is intended. この技術において、サイズの異なった顔や回転した顔に対応させるためには、サイズの異なった領域モデルや回転した領域モデルを用意する必要があるが、実際にそのサイズの顔やその回転角度の顔が存在しない場合、無駄な計算を多数行なう事となる。 In this technique, different face or in order to correspond to the rotated face sizes, it is necessary to prepare different area model and the rotational regions model sizes, actually its size the face and the angle of rotation If the face does not exist, and that carried out a number of wasteful calculation.

また、画像中の顔の表情を認識する手法もまた従来からいくつか開示されている(例えば非特許文献1、2を参照)。 Also recognize the expression of the face in the image approaches have also been disclosed several conventionally (e.g. Non-Patent Documents 1 and 2).

そのうちの1つの技術では、目視によってフレーム画像から顔の部分領域が正確に切り出されることが前提となっている。 In one technique of which the partial region of the face from the frame image is precisely cut out it is based on the premise visually. またその他の技術でも、顔パターンの大まかな位置決めの自動化はされているが、特徴点の位置決めに当たっては人間の目視による微調整が必要となっている。 Also in other techniques have been automated rough positioning of the face pattern, it is when the feature point position has become necessary fine adjustment by the human eye. また他の技術(例えば、特許文献6を参照)では、表情の要素を筋肉の動きや神経系接続関係等を用いてコード化し、情緒を決定する。 Also other techniques (for example, see Patent Document 6), the elements of the expression coded with muscle movement or nervous system connection relationship, etc., determines the emotion. ただしこの技術では、表情の認識に必要な部位の領域は固定されており、顔の向きの変化や動きによって、認識に必要な領域が含まれない可能性、逆に不要な領域が含まれてしまう可能性があり、表情の認識の精度に影響を及ぼすと考えられる。 However, in this technology, the site of space required for the recognition of facial expressions is fixed, depending on the direction of change and movement of the face, may not include space required to recognize, it contains unwanted areas conversely may put away, it is believed to affect the accuracy of the recognition of the facial expression.

その他に、顔の表情動作を客観的に記述する方法として知られているFACS(Facial Action Coding System)のAction Unitに対応する変化を検出し、表情を認識するシステムも検討されている。 In addition, to detect a change corresponding to the Action Unit of FACS known as objectively describe how the expression operation of the face (Facial Action Coding System), has been studied recognizing system expression.

また、その他の技術(例えば特許文献7を参照)では、リアルタイムで顔の表情を推定し、3次元顔モデルを変形させ、表情を再現する。 Also, the other techniques (for example, see Patent Document 7), to estimate the facial expression in real time, to deform the three-dimensional face model to reproduce the facial expression. この技術では、顔領域を含む入力画像と顔領域を含まない背景画像との差分画像と、肌色を示す色度から、顔を検出し、検出された顔領域を2値化した後に、顔の輪郭線を検出する。 In this technique, a difference image between the background image not including the input image and the face region including a face region, the chromaticity indicating the flesh color, a face is detected, after binarizing the detected face region, the face detecting the contour line. そして、その輪郭線内の領域で、目と口の位置を求め、目と口の位置から顔の回転角を求めて、回転補正した後に、2次元離散コサイン変換を行い、表情を推定し、その空間周波数成分の変化量に基づいて、3次元顔モデルを変換して表情の再現を行なっている。 Then, the area within the contour, determine the positions of the eyes and mouth, seeking rotation angle of the face from the position of the eyes and mouth, after rotation correction, we perform two-dimensional discrete cosine transform, to estimate the expression, based on the amount of change in the spatial frequency component, it is performed to reproduce the facial expression to convert the 3-dimensional face model. しかしながら、肌色の検出は照明変動や背景の影響を受けやすい。 However, detection of skin color is susceptible to variations in lighting and background. そのため、この技術では、最初の肌色抽出処理において、被写体の未検出や誤検出が起きる可能性が高い。 Therefore, in this technique, in the first skin color extraction processing, it is likely that the subject of undetected or erroneous detection occurs.

また、顔画像から個人の識別を行なう手法として、TurkらによるEigenface(固有顔)法が良く知られている(例えば非特許文献3,4を参照)。 Further, as a method for performing identification of individuals from facial images, Eigenface by Turk et al. (See e.g. Non-Patent Documents 3 and 4) to (Eigenface) method is well known. この手法では、多数の顔画像の濃淡値ベクトルの集合に対して、主成分分析を行い、固有顔と呼ばれる正規直交基底をあらかじめ求めておき、これらの基底を用いて、入力された顔画像の濃淡値ベクトルにKarhunen-Loeve展開を施すことにより、次元圧縮された顔パターンを求める。 In this approach, the set of gray value vectors of a large number of face images, performs principal component analysis, obtained in advance orthonormal basis called eigenfaces, with these base, the input face image by applying a Karhunen-Loeve expansion in gray value vector, determining the dimension compressed face pattern. そして、その次元圧縮されたパターンを、識別のための特徴ベクトルとするものである。 Then, the dimensional compression pattern and is characterized vectors for identification.

識別のための特徴ベクトルを使用して、実際に個人を識別する手法のひとつとして、上記文献中では、入力画像の次元圧縮された顔パターンと、保持してある各個人の次元圧縮された顔パターンとの距離を求め、最も近い距離を示したパターンが属するクラスを、入力された顔画像が属するクラス、つまり個人と識別する手法が示されている。 Using feature vectors for identification, actually As a method for identifying an individual, during the above reference, the dimensionality reduction face pattern of the input image, have been dimensionally compressed for each person that is held face obtains distances between the pattern, the pattern belongs class showing the shortest distance, the face image input belongs class, that is, individuals and identifying method is shown. ただし、この手法は基本的には、なんらかの手法を用いて画像中の顔の位置が検出され、その後、その顔の領域に対して、サイズ正規化や回転の補正を行なった顔画像を求め、その補正された顔画像を入力画像としている。 However, this approach is basically the position of the face in the image is detected using any technique, then, to a region of the face, obtains a face image subjected to the correction of the size normalization and rotation, It is the input image and the corrected face image.

また、リアルタイムで顔を認識できる画像処理方法が従来技術として開示されている(例えば特許文献8を参照)。 Further, (see for example Patent Document 8) in which the image processing method is disclosed in the prior art that can recognize faces in real time. この手法では、まず、入力画像中から任意の領域を切り出し、その領域が顔領域か否かを判別する。 In this method, first, cut out arbitrary region from the input image, the region is determined whether or not the face area. 次に、その領域が顔領域の場合、アフィン変換とコントラスト補正を行なった顔画像と、学習データベースの登録済み顔とのマッチングを行い、同一人物である確率を推定する。 Then, that region may face region, performs a face image subjected to affine transformation and contrast correction, the matching between the registered face learning database, estimate the probability that the same person. そして、その確率に基づいて、登録された人物の中から入力顔と同一である可能性が最も高い人物を出力する。 Then, based on the probability, likelihood is identical to the input face from the person that is registered outputs the highest figures.
特開平9−251534号公報 JP-9-251534 discloses 特許2767814号 Patent No. 2767814 特開平9−44676号公報 JP 9-44676 discloses 特許2973676号 Patent No. 2973676 特開平11−283036号公報 JP 11-283036 discloses 特許2573126号 Patent No. 2573126 特許3062181号公報 Patent 3062181 No. 特開2003−271958号公報 JP 2003-271958 JP

本発明は以上の問題に鑑みて成されたものであり、画像中の顔が誰のものであるかや、この顔の表情の判別を簡便に行う技術を提供することを目的とする。 The present invention is more has been made in view of the problems, and one face in the image is of whom, and an object thereof is to provide a simple manner technical determination of expression of the face.

さらには、画像中の顔の検出、表情判別、個人判別において、簡便な方法で、被写体の位置や向きの変動に対応することを目的とする。 Further, detection of a face in an image, the facial expression determination, the individual discrimination, by a simple method, and it is an object corresponding to the position and orientation variations of the object.

本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。 To achieve the object of the present invention, for example, an image processing apparatus of the present invention comprises the following arrangement.

即ち、 を含む画像を入力する入力手段と、 That is, input means for inputting an image including a face,
前記入力手段が入力した画像からエッジを表す複数の局所特徴を検出し、当該検出した複数の局所特徴の組み合わせより顔の特徴を検出して、前記画像中の該顔の領域を特定する領域特定手段と、 Detecting a plurality of local features representing edges from the image by the input means is inputted, and detects the facial features of a combination of a plurality of local features that the detected face area to identify the areas of said pigment in said image and specific means,
前記領域特定手段により検出された前記の領域中の夫々の前記局所特徴の相対位置と、予め基準として設定した画像に対する夫々の前記局所特徴の相対位置の差 、を用いて前記属するカテゴリを判別する判別手段と を備えることを特徴とする。 The relative position of the local feature of each of the region of the face detected by the face region identifying means, the difference between the relative position of the local feature of each against a face image set in advance as a reference, the face with characterized in that it comprises discriminating means for discriminating belongs categories.

本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。 To achieve the object of the present invention, for example, an image processing apparatus of the present invention comprises the following arrangement.

即ち、顔を含むフレーム画像を連続して入力する入力手段と、 That is, input means for inputting continuous frame images including a face,
前記入力手段が入力したフレーム画像からエッジを表す複数の局所特徴を検出し、当該検出した複数の局所特徴の組み合わせより顔の特徴を検出して、前記フレーム画像中の顔の領域を特定する顔領域特定手段と、 Detecting a plurality of local features representing edges from frame images wherein input means is inputted, and detects the facial features of a combination of a plurality of local features that the detected, identifying a region of a face in the frame image face a region specifying unit,
前記入力手段が入力した第1のフレームの画像において前記顔領域特定手段が特定した顔の領域と位置的に対応する、前記第1のフレームよりも後のフレームである第2のフレームの画像における領域において、前記顔領域特定手段が検出した夫々の前記局所特徴の相対位置と、予め基準として設定した顔画像に対する夫々の前記局所特徴の相対位置と、 の差に基づいて前記顔の表情を判別する判別手段と を備えることを特徴とする。 In the first of the face area specifying means in the image of the frame is positionally correspond to the area of ​​the specified face, a second frame image is a frame later than the first frame in which the input means inputs in the region, determine the relative position of the face region identifying means detects the respective said local feature, the relative position of the local feature of each against a face image set in advance as a reference, the expression of the face based on the difference between the characterized in that it comprises a discriminating means for.

本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。 To achieve the object of the present invention, for example, an image processing apparatus of the present invention comprises the following arrangement.

即ち、顔を含む画像を入力する入力手段と、 That is, input means for inputting an image including a face,
前記入力手段が入力した画像からエッジを表す複数の局所特徴を検出し、当該検出した複数の局所特徴の組み合わせより顔の特徴を検出して、前記画像中の顔の領域を特定する顔領域特定手段と、 Said input means detects a plurality of local features representing edges from image input, the detected plurality of detected facial features of a combination of local feature, a face region identifying to identify a region of a face in the image and means,
前記顔領域特定手段により検出された前記顔の領域中の夫々の前記局所特徴の検出結果と、それぞれの顔の画像から予め得た夫々の前記局所特徴の検出結果と、を用いて前記入力手段が入力した画像中の顔が誰の顔であるかを判別する第1の判別手段と 前記顔領域特定手段により特定された前記顔の領域中の夫々の前記局所特徴の相対位置と、予め基準として設定した顔画像に対する夫々の前記局所特徴の相対位置と、 の差を用いて前記顔の表情を判別する第2の判別手段と を備えることを特徴とする。 The face area and the detection result of the local feature of each of the region of the faces detected by the specific means, a detection result of the previously obtained each of the local feature from each face image, the input means using the first discriminating means and the relative position of the local feature of each of the region of the face identified by the face region identifying means, advance the reference but for determining whether a face in the input image is a whose face characterized in that it comprises a second discriminating means for discriminating a facial expression of the face by using the relative position of the local feature of each of the setting face image, the difference in the.

本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。 The image processing method in order to achieve the object of the present invention, for example, the present invention comprises the following arrangement.

即ち、 を含む画像を入力する入力工程と、 That is, an input step of inputting an image including a face,
前記入力工程で入力した画像からエッジを表す複数の局所特徴を検出し、当該検出した複数の局所特徴の組み合わせより顔の特徴を検出して、前記画像中の該顔の領域を特定する領域特定工程と、 Detecting a plurality of local features representing an edge from the image input in the input step, by detecting the facial features of a combination of a plurality of local features that the detected face area to identify the areas of said pigment in said image and the specific process,
前記領域特定工程で検出された前記の領域中の夫々の前記局所特徴の相対位置と、予め基準として設定した画像に対する夫々の前記局所特徴の相対位置の差 、を用いて前記属するカテゴリを判別する判別工程と を備えることを特徴とする。 The relative position of the local feature of each of the region of the face detected by the face region specifying step, the difference between the relative position of the local feature of each against a face image set in advance as a reference, the face with characterized in that it comprises a discrimination step of discriminating a category to belong.

本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。 The image processing method in order to achieve the object of the present invention, for example, the present invention comprises the following arrangement.

即ち、顔を含むフレーム画像を連続して入力する入力工程と、 That is, an input step of inputting successively frame images including a face,
前記入力工程で入力したフレーム画像からエッジを表す複数の局所特徴を検出し、当該検出した複数の局所特徴の組み合わせより顔の特徴を検出して、前記フレーム画像中の顔の領域を特定する顔領域特定工程と、 Detecting a plurality of local features representing edges from frame images input in the input step, by detecting the facial features of a combination of a plurality of local features that the detected, identifying a region of a face in the frame image face a region specifying step,
前記入力工程で入力した第1のフレームの画像において前記顔領域特定工程で特定した顔の領域と位置的に対応する、前記第1のフレームよりも後のフレームである第2のフレームの画像における領域において、前記顔領域特定工程で検出した夫々の前記局所特徴の相対位置と、予め基準として設定した顔画像に対する夫々の前記局所特徴の相対位置の差 、に基づいて前記顔の表情を判別する判別工程と を備えることを特徴とする。 In a first position to correspond to the face region specified face area with the specific process in the image of the frame, the second frame image is a frame later than the first frame input in the input step in the region, determine the relative position of the face region specifying step in detected each of said local features, the difference between the relative position of the local feature of each against a face image set in advance as a reference, the expression of the face based on characterized in that it comprises a discrimination step for.

本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。 The image processing method in order to achieve the object of the present invention, for example, the present invention comprises the following arrangement.

即ち、顔を含む画像を入力する入力工程と、 That is, an input step of inputting an image including a face,
前記入力工程で入力した画像からエッジを表す複数の局所特徴を検出し、当該検出した複数の局所特徴の組み合わせより顔の特徴を検出して、前記画像中の顔の領域を特定する顔領域特定工程と、 Wherein detecting a plurality of local features representing edges from the input image in the input step, the detected plurality of detected facial features of a combination of local feature, a face region identifying to identify a region of a face in the image and a step,
前記顔領域特定工程で検出された前記顔の領域中の夫々の前記局所特徴の検出結果と、それぞれの顔の画像から予め得た夫々の前記局所特徴の検出結果と、を用いて前記入力工程で入力した画像中の顔が誰の顔であるかを判別する第1の判別工程と 前記顔領域特定工程で特定された前記顔の領域中の夫々の前記局所特徴の相対位置と、予め基準として設定した顔画像に対する夫々の前記局所特徴の相対位置の差 、を用いて前記顔の表情を判別する第2の判別工程と を備えることを特徴とする。 The face area and the detection result of the local feature of each of the region of the faces detected in a particular process, the using the detection result of the previously obtained each of the local feature from each face image, an input step first determination step and the face area and the relative position of the local feature of each of the region of the identified the face in a particular step, pre-standards face in the input image is that in determining whether or who face characterized in that it comprises a second determination step of determining the expression of the face using the difference, between the relative position of the local feature of each for the set facial image as.

本発明の目的を達成するために、例えば本発明の撮像装置は以下の構成を備える。 To achieve the object of the present invention, for example, the imaging apparatus of the present invention comprises the following arrangement.

即ち、上記画像処理装置を備え、判別された表情が予め設定された表情である場合に、前記入力手段に入力された画像を撮像する撮像手段を備えることを特徴とする。 That is, with the image processing apparatus, when discriminated facial expression is a predetermined expression, characterized in that it comprises an imaging means for capturing an image input to the input means.

本発明の構成により、画像中の被写体のカテゴリ判別、例えば被写体が顔である場合に、それが誰のものであるかや、この顔の表情の判別を簡便に行うことができる。 The configuration of the present invention, the category determination of the object in the image, for example, when the subject is a face, it and whether it is Whose, can be easily performed determination of expression of the face.

また、画像中の顔の検出、表情判別、個人判別において、簡便な方法で、被写体の位置や向きの変動に対応することができる。 The detection of faces in an image, the facial expression determination, the individual discrimination, a simple method may correspond to the position and orientation variations of the object.

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。 With reference to the accompanying drawings will be described in detail in accordance with a preferred embodiment of the present invention.

[第1の実施形態] First Embodiment
図1は本実施形態に係る画像処理装置の機能構成を示す図である。 Figure 1 is a block diagram showing the functional arrangement of an image processing apparatus according to this embodiment. 本実施形態に係る画像処理装置は、画像中から顔を検出し、その表情を判別するものであり、撮像部100、制御部101、顔検出部102、中間検出結果保持部103、表情判別部104、画像保持部105、表示部106、記録部107から成る。 The image processing apparatus according to the present embodiment detects a face from an image, which determines the facial expression, the imaging unit 100, the control unit 101, the face detection unit 102, an intermediate detection result holding unit 103, the facial expression determination unit 104, an image holding unit 105, display unit 106, and the recording unit 107. 以下、各部について説明する。 The following describes each part.

撮像部100は、制御部101からの制御信号に基づいて画像を撮影し、その撮影した画像(撮影画像)を、顔検出部102、画像保持部105、表示部106若しくは記録部107に出力する。 Imaging unit 100 captures an image based on the control signal from the control unit 101, and outputs the captured image (captured image), the face detection unit 102, an image holding unit 105, the display unit 106 or the recording unit 107 .

制御部101は、本実施形態に係る画像処理装置全体を制御するための処理を行うものであり、撮像部100、顔検出部102、中間検出結果保持部103、表情判別部104、画像保持部105、表示部106、記録部107と接続されており、各部が適切なタイミングで動作するよう、各部を制御するものである。 Control unit 101, which performs processing for controlling the entire image processing apparatus according to the present embodiment, the imaging unit 100, face detecting unit 102, an intermediate detection result holding unit 103, the facial expression determination unit 104, an image holding unit 105, a display unit 106, is connected to the recording unit 107, so that each section is operated at an appropriate timing, and controls the respective units.

顔検出部102は、撮像部101からの撮影画像において顔の領域(撮影画像中に含まれる顔の画像の領域)を検出する処理を行う。 The face detection unit 102 performs a process of detecting a face area in the captured image from the imaging unit 101 (the region of a face image contained in the captured image). この処理は即ち、撮影画像中の顔領域の数、撮影画像における顔領域の座標位置、顔領域のサイズ、顔領域の撮影画像における回転量(例えば顔領域を矩形とする場合、この矩形が撮影画像においてどの方向にどれだけ傾いているかを示す回転量)を求める処理に換言される。 This process ie, the number of face regions in the photographed image, the coordinate position of the face area in the captured image, the size of the face region, if a rectangular rotation amount (e.g., a face area in the captured image of the face area, the rectangular photographing are other words to the rotation amount) obtaining process indicating which tilted much in any direction in the image. なお、これらの情報(撮影画像中の顔領域の数、撮影画像における顔領域の座標位置、顔領域のサイズ、顔領域の撮影画像における回転量)を総称して以下、「顔領域情報」と呼称する。 Note that these information below collectively (the number of face regions in the photographed image, the coordinate position of the face area in the captured image, the size of the face region, the rotation amount in the captured image of the face area), and "face-area information" referred to. 従って、顔領域情報を求めることにより、撮影画像における顔の領域を特定することができる。 Therefore, by obtaining the face region information, it is possible to specify the area of ​​the face in the captured image.

これらの検出結果は表情判別部104に出力する。 These detection results are output to the facial expression determination unit 104. また、検出処理の途中で得られる後述の中間検出結果は中間検出結果保持部103へ出力する。 Also, the way the intermediate detection result of the later obtained detection processing is output to the intermediate detection result holding unit 103.

中間検出結果保持部103は、顔検出部102から出力された上記中間特徴検出結果を保持する。 Intermediate detection result holding unit 103 holds the intermediate feature detection result output from the face detecting unit 102.

表情判別部104は、顔検出部102から出力される顔領域情報のデータと、中間検出結果保持部103から出力される上記中間特徴検出結果のデータとを受け付ける。 Expression determination unit 104 receives the data of the face area information output from the face detecting unit 102, and the intermediate feature detection result output from the intermediate detection result holding unit 103 data. そして、それらのデータに基づいて、画像保持部105から撮影画像の全部若しくは一部(一部の場合、顔領域の画像のみ)を読み込み、後述の処理によって、読み込んだ画像における顔の表情を判別する処理を行う。 Then, discrimination on the basis of these data, all or part of the captured image from the image holding unit 105 (in some cases, only an image of the face area) reads, by the process described below, the facial expressions of the read image a process to perform.

画像保持部105は、撮像部100から出力された撮影画像を一時的に保持し、制御部101の制御信号に基づいて、保持している撮影画像の全部若しくは一部を、表情判別部104や、表示部106、記録部107へ出力する。 Image holding unit 105 temporarily holds the captured image output from the imaging unit 100, based on the control signal of the controller 101, all or part of the captured image held, Ya expression determination unit 104 , the display unit 106, and outputs to the recording unit 107.

表示部106は、例えばCRTや液晶画面などにより構成されており、画像保持部105から出力された撮影画像の全部若しくは一部、又は撮像部100で撮像された撮影画像を表示する。 The display unit 106, for example, a CRT or LCD screen is constituted by, all or part of the output captured image from the image holding unit 105, or displays a captured image captured by the imaging unit 100.

記録部107は、ハードディスクドライブやDVD−RAM、コンパクトフラッシュ(登録商標)などの記憶媒体に情報を記録する装置により構成されており、画像保持部105に保持された画像、または撮像部100で撮像された撮影画像を記録する。 Imaging recording unit 107, a hard disk drive or DVD-RAM, compact flash (registered trademark) is constituted by a device for recording information in a storage medium such as an image held in the image holding unit 105 or by the imaging unit 100, the photographed image is recorded.

次に、上記各部の動作によって実行される、撮影画像中の顔の表情を判別する為のメインの処理について、同処理のフローチャートを示す図2を用いて説明する。 Next, is performed by the operations of the respective units, the main processing for determining facial expressions in the captured image will be described with reference to FIG. 2 which is a flow chart of that process.

先ず、制御部101からの制御信号に基づいて撮像部100が画像を撮影する(ステップS201)。 First, the imaging unit 100 captures an image based on the control signal from the control unit 101 (step S201). 撮影された画像のデータは、表示部106に表示されると共に、画像保持部105に出力され、更には顔検出部102に入力される。 Data of a photographed image is is displayed on the display unit 106, is output to the image holding unit 105, and further inputted to the face detection unit 102.

次に、顔検出部102は入力された撮影画像を用いて、この撮影画像中の顔の領域を検出する処理を行う(ステップS202)。 Next, the face detection unit 102 using the photographed image inputted, performs a process of detecting a region of a face in the captured image (step S202). この顔領域の検出処理について、より詳細に説明する。 The detection process of the face region will be described in more detail.

図7は、撮影画像における局所特徴を検出し、顔領域を特定するための一連の処理を示す図である。 7 detects the local feature in the captured image is a diagram illustrating a series of processes for specifying a face area. 同図に示した処理では、まず最もプリミティブな局所特徴である一次特徴を検出する。 In the process shown in the drawing, it detects the primary feature is the first and most primitive local features. 一次特徴としては同図に示すように、縦特徴701,横特徴702,右上がり斜め特徴703,右下がり斜め特徴704といった特徴がある。 The primary characteristic as shown in the figure, the vertical characteristic 701, the horizontal features 702, right upward slanting feature 703 is characterized such right downward slanting features 704. ここで「特徴」とは、縦特徴701を例に取ると、縦方向のエッジセグメントを表すものである。 Here, the "feature" may take the vertical features 701 as an example, it illustrates a longitudinal edge segment.

撮影画像において各方向のセグメントを検出する技術については周知であるので、この技術を用いて撮影画像から各方向のセグメントを検出し、撮影画像から縦特徴のみを検出した画像、撮影画像から横特徴のみを検出した画像、撮影画像から右上がり斜め特徴のみを検出した画像、撮影画像から右下がり斜め特徴のみを検出した画像を生成する。 Since the technique for detecting the direction of the segment in the captured image is well known to detect the segment from the photographed image in each direction by using this technique, image detected only vertical features from the captured image, the horizontal features from the captured image only the detected image, an image from the captured image to detect only the right upward slanting features, generates an image detected only right downward slanting features from the captured image. このことから4つの画像(一次特徴画像)のサイズ(縦横の画素数)は撮影画像と同じであるので、特徴画像と撮影画像とでは夫々画素が1対1に対応する。 Since this size four image (primary feature image) from (the number of vertical and horizontal pixels) is the same as the captured image, each pixel corresponds one-to-one with the feature image and the photographed image. また、特徴画像において、検出した特徴部分の画素の値とそれ以外の部分の画素の値とは異なる値とし、例えば特徴部分の画素の値は1、それ以外の部分の画素の値は0とする。 Further, in the feature image, a value different from the value of the pixel value and the other portion of the pixel of the detected feature portion, for example, the value of the pixel characteristic portion 1, the values ​​of the pixels of the other part 0 to. 従って、特徴画像において画素値が1である画素があれば、撮影画像においてこれに対応する画素は一次特徴を構成する画素であるとすることができる。 Therefore, if the pixel value is a pixel is 1 in the feature image, pixels corresponding to the captured image may be a pixel that constitutes the primary features.

以上のようにして一次特徴画像群を生成することで、撮影画像における一次特徴を検出することができる。 By generating a primary feature images as described above, it is possible to detect the primary features in the captured image.

次に、検出した一次特徴群の何れかを組み合わせた二次特徴群を撮影画像から検出する。 Next, detecting the combined one of the detected primary features described secondary feature groups from the photographed image. 二次特徴群としては同図に示すように、右空きV字特徴710,左空きV字特徴711,水平平行線特徴712,垂直平行線特徴713といった特徴がある。 As shown in the figure as a secondary feature groups, right-open V-shaped feature 710, left-open V-shaped feature 711 is characterized such horizontal parallel line feature 712, a vertical parallel line feature 713. 右空きV字特徴710は一次特徴である右上がり斜め特徴703と右下がり斜め特徴704とを組み合わせた特徴、左空きV字特徴711は一次特徴である右下がり斜め特徴704と右上がり斜め特徴703とを組み合わせた特徴であり、水平平行線特徴712は一次特徴である横特徴702を組み合わせた特徴であり、垂直平行線特徴713は一次特徴である縦特徴701を組み合わせた特徴である。 Right-open V-shaped feature 710 is left-to-right upward slanting features 703 and downward-sloping characteristics obtained by combining the diagonal features 704, left-open V-shaped feature 711 is a linear characteristic right downward slanting feature 704 and the right upward slanting feature 703 is a primary feature a feature that combines the door, horizontal parallel line feature 712 is a feature that combines horizontal features 702 are primary features, the vertical parallel line feature 713 is a feature that combines the vertical features 701 are primary features.

一次特徴画像の生成と同様に、撮影画像から右空きV字特徴710のみを検出した画像、撮影画像から左空きV字特徴711のみを検出した画像、撮影画像から水平平行線特徴712のみを検出した画像、撮影画像から垂直平行線特徴713のみを検出した画像を生成する。 Like the generation of the primary feature images, an image from the captured image is detected only right-open V-shaped feature 710, image detected only left-open V-shaped feature 711 from the captured images, detects only horizontal parallel line feature 712 from the photographed image image, to generate an image detected only vertical parallel line feature 713 from the captured image. このことから4つの画像(二次特徴画像)のサイズ(縦横の画素数)は撮影画像と同じであるので、特徴画像と撮影画像とでは夫々画素が1対1に対応する。 Since size that four images from (secondary feature image) (the number of vertical and horizontal pixels) is the same as the captured image, each pixel corresponds one-to-one with the feature image and the photographed image. また、特徴画像において、検出した特徴部分の画素の値とそれ以外の部分の画素の値とは異なる値とし、例えば特徴部分の画素の値は1、それ以外の部分の画素の値は0とする。 Further, in the feature image, a value different from the value of the pixel value and the other portion of the pixel of the detected feature portion, for example, the value of the pixel characteristic portion 1, the values ​​of the pixels of the other part 0 to. 従って、特徴画像において画素値が1である画素があれば、撮影画像においてこれに対応する画素は二次特徴を構成する画素であるとすることができる。 Therefore, if the pixel value is a pixel is 1 in the feature image, pixels corresponding to the captured image may be a pixel constituting the secondary features.

以上のようにして二次特徴画像群を生成することで、撮影画像における二次特徴を検出することができる。 By generating a secondary feature images as described above, it is possible to detect the secondary features in the captured image.

次に、検出した二次特徴群の何れかを組み合わせた三次特徴群を撮影画像から検出する。 Next, detecting the combined one of the detected secondary features described tertiary feature groups from the photographed image. 三次特徴群としては同図に示すように、眼特徴720,口特徴721といった特徴がある。 The tertiary feature groups as shown in the figure, there are features such eye feature 720, mouth feature 721. 眼特徴720は二次特徴である右空きV字特徴710と左空きV字特徴711と水平平行線特徴712と垂直平行線特徴713とを組み合わせた特徴であり、口特徴721は二次特徴である右空きV字特徴710と左空きV字特徴711と水平平行線特徴712とを組み合わせた特徴である。 Eye feature 720 is a feature that combines the right-open V-shaped feature 710 and left-open V-shaped feature 711 is a secondary feature the horizontal parallel line feature 712 and a vertical parallel line feature 713, mouth feature 721 secondary features it is a feature that combines with certain right-open V-shaped feature 710 and left-open V-shaped feature 711 and horizontal parallel line feature 712.

一次特徴画像の生成と同様に、眼特徴720のみを検出した画像、撮影画像から口特徴721のみを検出した画像を生成する。 Like the generation of the primary feature images, image detected only eye feature 720, and generates an image detected only mouth feature 721 from the captured image. このことから2つの画像(三次特徴画像)のサイズ(縦横の画素数)は撮影画像と同じであるので、特徴画像と撮影画像とでは夫々画素が1対1に対応する。 Since this two image size (number of pixels in vertical and horizontal) of (tertiary feature image) is the same as the captured image, each pixel corresponds one-to-one with the feature image and the photographed image. また、特徴画像において、検出した特徴部分の画素の値とそれ以外の部分の画素の値とは異なる値とし、例えば特徴部分の画素の値は1、それ以外の部分の画素の値は0とする。 Further, in the feature image, a value different from the value of the pixel value and the other portion of the pixel of the detected feature portion, for example, the value of the pixel characteristic portion 1, the values ​​of the pixels of the other part 0 to. 従って、特徴画像において画素値が1である画素があれば、撮影画像においてこれに対応する画素は三次特徴を構成する画素であるとすることができる。 Therefore, if the pixel value is a pixel is 1 in the feature image, pixels corresponding to the captured image may be a pixel constituting the tertiary feature.

以上のようにして三次特徴画像群を生成することで、撮影画像における三次特徴を検出することができる。 By generating a tertiary feature images as described above, it is possible to detect the tertiary features in the captured image.

次に、検出した三次特徴群を組み合わせた四次特徴を撮影画像から検出する。 Next, to detect the four primary features that combine the detected tertiary feature groups from the photographed image. 四次特徴は同図では顔特徴そのものである。 Quartic feature in the figure is a face feature itself. 顔特徴は三次特徴である眼特徴72と口特徴721とを組み合わせた特徴である。 Facial feature is a feature that combines the eye characteristics 72 and mouth feature 721 is a tertiary feature.

一次特徴画像の生成と同様に、顔特徴を検出した画像(四次特徴画像)を生成する。 Like the generation of the primary feature image to generate an image (quartic feature image) obtained by detecting the face feature. このことから四次特徴画像のサイズ(縦横の画素数)は撮影画像と同じであるので、特徴画像と撮影画像とでは夫々画素が1対1に対応する。 Since size quartic feature image since (number of vertical and horizontal pixels) is the same as the captured image, each pixel corresponds one-to-one with the feature image and the photographed image. また、特徴画像において、検出した特徴部分の画素の値とそれ以外の部分の画素の値とは異なる値とし、例えば特徴部分の画素の値は1、それ以外の部分の画素の値は0とする。 Further, in the feature image, a value different from the value of the pixel value and the other portion of the pixel of the detected feature portion, for example, the value of the pixel characteristic portion 1, the values ​​of the pixels of the other part 0 to. 従って、特徴画像において画素値が1である画素があれば、撮影画像においてこれに対応する画素は四次特徴を構成する画素であるとすることができる。 Therefore, if the pixel value is a pixel is 1 in the feature image, pixels corresponding to the captured image may be a pixel constituting the quartic features. 従ってこの四次特徴画像を参照することで、例えば画素値が1である画素の重心位置をもって、顔領域の位置を求めることができる。 Therefore, by referring to this quartic feature image, for example, the pixel value with the position of the center of gravity of the pixel is 1, it is possible to determine the position of the face area.

なお、この顔領域を矩形とする場合、この矩形が撮影画像に対してどれだけどの方向に傾いているのかを示す情報を求めるために、この矩形の撮影画像に対する傾きを求めることで、上記回転量を求めることができる。 In the case of the face region and rectangular, in order to obtain the information indicating whether the rectangle is tilted how any direction with respect to the captured image, by obtaining the inclination for this rectangular shot image, the rotation it is possible to determine the amount.

以上のようにして、上記顔領域情報を求めることができる。 As described above, it is possible to obtain the face-area information. 求めた顔領域情報は上述の通り、表情判別部104に出力する。 Calculated face region information as described above, and outputs to the facial expression determination unit 104.

また、上記各特徴画像(本実施形態では一次特徴画像、二次特徴画像、三次特徴画像、四次特徴画像)は上記中間検出結果として中間検出結果保持部103に出力する。 Further, the (in this embodiment the primary feature images, the secondary feature image, tertiary feature image, quaternary feature image) each feature image is output to the intermediate detection result holding unit 103 as the intermediate detection result.

このようにして、撮影画像における四次特徴を検出することで、撮影画像における顔の領域を求めることができる。 In this manner, by detecting a quartic features in the captured image, it is possible to determine the area of ​​the face in the captured image. また、以上説明した顔領域の検出処理を撮影画像全体に対して行うことで、撮影画像に顔の領域が複数含まれていても、夫々の顔の領域を検出することができる。 In the above-described detection process of the face region by making for the entire captured image, be included plurality of areas of the face in the captured image, it is possible to detect an area of ​​the face of each.

なお、上記顔領域の検出処理については、並列階層処理により画像認識を行う神経回路網を用いて実現することも可能であり、これについては、M.Matsugu,K.Mori,et.al, “Convolutional Spiking Neural Network Model for Robust Face Detection”,2002,Internatinal Conference On Neural Information Processing (ICONIP02)に記述がされている。 Note that the detection processing of the face area, it is also possible to realize by using a neural network for performing image recognition by parallel hierarchical process, which will, M.Matsugu, K.Mori, et.al, " Convolutional Spiking Neural Network Model for Robust Face Detection ", has been described in 2002, Internatinal Conference on Neural Information Processing (ICONIP02).

図8を参照して神経回路網の処理内容を説明する。 With reference to FIG. 8 explains a procedure of the neural network. 図8は、画像認識を行うための神経回路網の構成を示す図である。 Figure 8 is a diagram showing a configuration of a neural network for image recognition.

この神経回路網は、入力データ中の局所領域において、対象または幾何学的特徴などの認識(検出)に関与する情報を階層的に扱うものであり、その基本構造はいわゆるConvolutionalネットワーク構造(LeCun, Y. and Bengio, Y., 1995, “Convolutional Networks for Images Speech, and Time Series” in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.255-258)である。 The neural network in a local region of the input data, which deals with information involved in the recognition of such object or geometric characteristics (detection) hierarchically, its basic structure is the so-called Convolutional network structure (LeCun, Y. and Bengio, Y., 1995, "Convolutional Networks for Images Speech, and Time Series" in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, is a pp.255-258). 最終層(最上位層)では検出したい被写体の有無と、存在すればその入力データ上の位置情報が得られる。 And the presence or absence of an object to be detected in the final layer (uppermost layer), the position information on the input data is obtained if there. この神経回路網を本実施形態に適用すれば、この最終層からは、撮影画像中の顔の領域の有無と、顔の領域が存在すれば、この顔の領域の撮影画像上における位置情報が得られる。 By applying this neural network in this embodiment, from the final layer, and the presence or absence of the face region in the captured image, if there is a region of the face, the position information on the photographed image of an area of ​​the face can get.

同図においてデータ入力層801は、画像データを入力する層である。 Data input layer 801 in the figure is a layer for inputting image data. 最初の特徴検出層(1,0)は、データ入力層801より入力された画像パターンの局所的な低次の特徴(特定方向成分、特定空間周波数成分などの幾何学的特徴のほか色成分特徴を含んでもよい)を全画面の各位置を中心として局所領域(或いは、全画面にわたる所定のサンプリング点の各点を中心とする局所領域)において同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数だけ検出する。 The first feature detection layer (1,0), local low-order features (specific direction component of the image pattern input from the data input layer 801, in addition color component features of the geometrical features such as a specific spatial frequency component more features in a plurality of scale levels or resolutions in the same place in the comprise local area may also be) about the respective position of the entire screen (or a local region centered at each point of the predetermined sampling points over the entire screen) to detect the number of categories.

特徴統合層(2,0)は、所定の受容野構造(以下、受容野とは直前の層の出力素子との結合範囲を、受容野構造とはその結合荷重の分布を意味する)を有し、特徴検出層(1,0)からの同一受容野内にある複数のニューロン素子出力の統合(局所平均化、最大出力検出等によるサブサンプリングなどの演算)を行う。 Feature integration layer (2,0) has a predetermined receptive field structure (hereinafter, the coupling range with the output element of the immediately preceding layer and the receptive field, receptive field structure means the distribution of the coupling weights) Yu to perform the same receptive field multiple integration of neuron element outputs in from the feature detection layer (1,0) (local averaging, calculation of such sub-sampling by the maximum output detection, etc.). この統合処理は、特徴検出層(1,0)からの出力を空間的にぼかすことで、位置ずれや変形などを許容する役割を有する。 This integration process, by blurring the output from the feature detection layer (1,0) spatially, has a role to permit such displacement or deformation. また、特徴統合層内のニューロンの各受容野は同一層内のニューロン間で共通の構造を有している。 Each receptive field of neurons in the feature integration layer have a common structure among the neurons in the same layer.

後続の層である各特徴検出層(1,1)、(1,2)、…、(1,M)、及び各特徴統合層(2,1)、(2,2)、…、(2,M)は、上述した各層と同様に、前者((1,1)、…)は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行い、後者((2,1)、…)は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行う。 Each feature detection layer which is a subsequent layer (1, 1), (1, 2), ..., (1, M), and the feature integration layer (2,1), (2,2), ..., (2 , M), similar to the layers described above, the former ((1, 1), ...) performs detection of a plurality of different features in each feature detection module, the latter ((2,1), ...) is the detection result integration for multiple features from the preceding feature detection layer. 但し、前者の特徴検出層は同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合(配線)されている。 However, the former feature detecting layers are bonded (wire) to receive a cell element output of the preceding feature integration layer belonging to the same channel. 特徴統合層で行う処理であるサブサンプリングは、同一特徴カテゴリの特徴検出細胞集団からの局所的な領域(当該特徴統合層ニューロンの局所受容野)からの出力についての平均化などを行うものである。 Subsampling a process performed by the feature integration layer is configured to perform such averaging the output from a local region from the feature detection cell populations of the same feature category (local receptive field of the feature integration layer neurons) .

図8に示した神経回路網を用いて、図7に示した各特徴を検出するためには、各特徴検出層の検出に使用する受容野構造をその特徴を検出するためのものにすることで、各特徴の検出が可能である。 Using a neural network shown in FIG. 8, in order to detect the respective features shown in FIG. 7, be of for a receptive field structure for use in the detection of each feature detection layer for detecting the features in, it is possible to detect the respective features. また、最終層の顔検出層における顔の検出に使用する受容野構造を、各サイズや各回転量に適したものを用意し、顔特徴の検出において、顔が存在するという結果を得たときにどの受容野構造を用いて検出したかによって、その顔の大きさや向き等の顔データを得ることが出来る。 Further, when the receptor field structure used for the detection of the face in the face detection layer of the final layer, to prepare those suitable for each size and each rotational amount, the detection of the face feature to obtain the result that there is a face which receptors depending were detected using field structure, it is possible to obtain a face data size and orientation, etc. of the face.

図2に戻って、次に、制御部101は、ステップS202で顔検出部102による顔領域検出処理の結果を参照して、撮影画像において顔領域が存在したか否かを判定する(ステップS203)。 Referring back to FIG. 2, then the control unit 101 refers to the result of the face area detecting process by the face detection unit 102 in step S202, it is determined whether a face area exists in the captured image (step S203 ). この判定方法としては、例えば四次特徴画像が得られたか否かを判定し、得られた場合には顔領域が撮影画像中に存在すると判定する。 As the determination method determines, for example to determine whether the quartic feature image is obtained, the face area if the resultant is present in the photographed image. またその他にも、(顔)特徴検出層内の各ニューロンのうち、出力値がある基準値以上のニューロンが存在するかを判定し、基準値以上のニューロンが示す位置に顔(領域)が存在するとしても良い。 Furthermore Besides, (face) of each neuron of the feature detection layer, it is determined whether the reference value or more neurons in the output value exists, there face (region) in the position indicated by the reference value or more neurons it may be to. その場合、基準値以上のニューロンが存在しない場合は、顔が存在しないとする。 In that case, if the reference value or more neurons does not exist, and there is no face.

そしてステップS203における判定処理の結果、撮影画像中に顔領域が存在しない場合、顔検出部102はその旨を制御部101に通知するので、処理をステップS201に戻し、制御部101は撮像部100を制御して、新たな画像を撮影する。 The result of the determination processing in step S203, if in the captured image does not exist face region, the face detection unit 102 notifies the control unit 101 returns the process to step S201, the control unit 101 and the imaging portion 100 by controlling the, to capture a new image.

一方、顔領域が存在した場合、顔検出部102はその旨を制御部101に通知するので、処理をステップS204に進め、制御部101は画像保持部105に保持されている撮影画像を表情判別部104に出力すると共に、中間検出結果保持部103に保持されている特徴画像を表情判別部104に出力し、表情判別部104は、入力された特徴画像と顔領域情報を用いて、撮影画像中の顔領域に含まれる顔の表情を判定する処理を行う(ステップS204)。 On the other hand, when the face area exists, is notified to the face detection unit 102 the control unit 101 to that effect, the process proceeds to step S204, the control unit 101 expression determines captured image held in the image holding unit 105 and outputs to the section 104, and outputs the feature image held in the intermediate detection result holding unit 103 to the facial expression determination unit 104, the facial expression determination unit 104, using the feature image and the face region information inputted captured image It performs a process of determining the expression of the face included in the face region in (step S204).

なお、画像保持部105から表情判別部104に出力する画像は本実施形態では撮影画像全体とするが、これに限定されるものではなく、例えば制御部101が顔領域情報を用いて撮影画像中の顔領域を特定し、この顔領域のみの画像を表情判別部104に出力するようにしても良い。 Note that the image output from the image holding unit 105 to the facial expression determination unit 104 in the present embodiment the entire photographed image is not limited to this, for example, in the captured image control unit 101 using the face region information identify the facial region may be outputted image of the face region only in the expression determination unit 104.

次に、表情判別部104が行う表情判定処理について、より詳細に説明する。 Next, the facial expression determination processing facial expression determination unit 104 performs will be described in more detail. 上述のように、顔の表情を判別するために、一般的な表情記述法であるFACS(Facial Action Coding System)で用いられるAction Unit(AU)を検出し、検出したAUの種類により、表情判別を行うことが出来る。 As described above, in order to determine the facial expression to detect a general expression notation FACS (Facial Action Coding System) used in the Action Unit (AU), the type of the detected AU, expression determination it can be carried out. AUには、眉の外側を上げる、唇を横に引っ張る等がある。 The AU, raising the outside of the eyebrow, and the like pulling the lips to the side. AUの組み合わせにより人間のあらゆる表情の記述は可能であるため、原理的には、AUが全て検出できれば、全ての表情を判別することが可能である。 Because the combination of AU description of any expression of human is possible, in principle, if the detection AU are all, it is possible to determine all the expressions. しかし、AUは44個あり、全てを検出するのは容易ではない。 However, AU is 44, is not easy to detect all.

そこで本実施形態では図9に示すように、眉の端点(B1〜B4)、目の端点(E1〜E4)、口の端点(M1,M2)を表情判別に使用する特徴とし、それら特徴点の相対位置の変化を求めることにより表情を判別する。 Therefore, as shown in FIG. 9 in this embodiment, the end points of eyebrows (B1 to B4), the eye of the end point (E1 to E4), characterized the use of the mouth end points (M1, M2) in the expression determination, they feature point to determine expression by determining the change in relative position. これらの特徴点の変化でいくつかのAUは記述可能であり、基本的な表情の判別は可能である。 Some of AU in changes in these feature points are describable, are possible determination of basic expression. なお、各表情における各特徴点の変化は、表情判別データとして表情判別部104の中に保持されており、表情判別部104の表情判別処理に使用される。 The change of the feature points in each facial expression is held in the facial expression determination unit 104 as a facial expression determination data is used the expression determination process of the expression determination unit 104.

図9は、各特徴点を示す図である。 Figure 9 is a diagram showing feature points.

図9に示した表情検出のための各特徴点は、目や眉などの端部であり、この端部の形状は大まかには右空きのV字、左空きのV字であるので、例えば図7に示した二次特徴の右空きV字特徴710,左空きV字特徴711に相当する。 Each feature point for the indicated expression detected in FIG. 9 is an end portion of such eyes and eyebrows, the shape of the end roughly right-open V-shaped, so is the V-shaped left empty, for example right-open V-shaped feature 710 of the secondary features shown in FIG. 7 corresponds to the left-open V-shaped feature 711.

また、表情判別に使用する特徴点の検出は、顔検出部102における顔検出処理の中間段階で得られている。 The detection of feature points used for facial expression determination is obtained at an intermediate stage of the face detection processing in the face detecting section 102. そして、その顔検出処理の中間処理結果は、中間特徴結果保持部103に保持されている。 The intermediate process result of the face detection processing is held in the intermediate characteristic result holding unit 103.

しかしながら、右空きV字特徴710,左空きV字特徴711は、顔以外にも、背景等、様々な位置に存在する。 However, right-open V-shaped feature 710, left-open V-shaped feature 711, in addition to the face, background and the like, present in the various positions. そのため、顔検出部102で得られた顔領域情報を用いて二次特徴画像中の顔領域を特定し、この領域において右空きV字特徴710,左空きV字特徴711の端点、即ち眉の端点、目の端点、口の端点を検出する。 Therefore, to identify a face region in the secondary feature image using the facial area information obtained by the face detection unit 102, the right-open V-shaped feature 710 in this region, the end points of the left-open V-shaped feature 711, i.e. brow the end point, the eyes of the end point, to detect the end point of the mouth.

そこで、図9に示すように、顔領域内で眉・目の端点の探索範囲(RE1,RE2)と口の端点の探索範囲(RM)を設定する。 Therefore, as shown in FIG. 9, sets the search range of eyebrows, eyes endpoints (RE1, RE2) and a search range of the mouth of the end point (RM) in the face area. そして、その設定した探索範囲内の画素値を参照して、右空きV字特徴710,左空きV字特徴711を構成する画素群のうち、同図水平方向に両端の画素の位置を検出し、検出した位置をもって特徴点の位置とする。 Then, with reference to the pixel values ​​in the search range that the setting, right-open V-shaped feature 710, among the pixels that constitute the left-open V-shaped feature 711 detects the position of a pixel at both ends in the figure horizontally , the position of the feature point with the detected position. なお顔領域の中心位置に対するこの探索範囲(RE1,RE2,RM)の相対位置は予め設定されている。 Note the relative position of the search range with respect to the central position of the face region (RE1, RE2, RM) are set in advance.

例えば探索範囲RE1内で右空きV字特徴710を構成する画素群のうち、同図水平方向に端の画素の位置はB1,E1であるので、これを眉、目何れかの一端の位置とする。 For example among the pixels that constitute the right-open V-shaped feature 710 within the search range RE1, since the position of the pixel of FIG horizontally end is the B1, E1, which eyebrow, the position of the eye either end to. また、夫々の位置B1,E1の垂直方向の位置を参照し、より上側に位置するものが眉の一端の位置とする。 Further, with reference to the position of the vertical position of the respective B1, E1, one located more upward to the position of one end of the eyebrow. 同図ではB1がE1に比べてより上の位置にあるので、B1を眉の一端の位置とする。 Since B1 is the figure is a more upper position than the E1, the position of one end of the eyebrow and B1.

このようにして、目、眉の一端の位置を求めることができる。 In this manner, it is possible to determine the eye, the position of one end of the eyebrow. 同様に探索範囲RE1において左空きV字特徴711について同様の処理を行うことで、眉、目のもう一端の位置B2,E2の位置を求めることができる。 Similarly, in the search range RE1 and performs the same process for the left-open V-shaped feature 711 can be determined eyebrows, the other position of the position B2, E2 end eye.

以上説明した処理により、目、眉、そして口の両端の位置、即ち各特徴点の位置を求めることができる。 By the processing described above, the eyes, eyebrows, and positions of both ends of the mouth, that is, to determine the position of each feature point. なお、特徴画像と撮影画像とはサイズが同じで、且つ各画素が1対1で対応するので、特徴画像中の各特徴点の位置はそのまま撮影画像中における位置とすることもできる。 The size is the same as the feature image and the photographed image, and because each pixel corresponds one-to-one, the position of each feature point in the feature image can also be positioned in the ready-captured in the image.

なお、本実施形態では各特徴点の位置を求める処理に二次特徴を用いたが、これに限定されるものではなく、一次特徴や三次特徴等の何れか若しくはその組み合わせを用いても良い。 Incidentally, in the present embodiment using the processing to the secondary features to determine the position of each feature point, the present invention is not limited thereto, may be used either or a combination of such primary features and tertiary features.

例えば右空きV字特徴710,左空きV字特徴711以外に、図7に示した三次特徴である目特徴720と口特徴721、及び一次特徴である縦特徴701,横特徴702,右上がり斜め特徴703,右下がり斜め特徴704を用いることもできる。 For example right-open V-shaped feature 710, in addition to left-open V-shaped feature 711, the vertical features 701 are tertiary is characteristic eye feature 720 and mouth feature 721, and primary features shown in FIG. 7, the horizontal features 702, right upward slanting features 703 may also be used oblique feature 704 downward-sloping.

一次特徴と三次特徴とを用いて特徴点を求める処理を図10を用いて説明する。 It will be described with reference to FIG. 10 the process for obtaining the feature points by using the primary features and tertiary features. 図10は図9に示した顔領域において一次特徴と三次特徴とを用いた特徴点を求める処理を説明するための図である。 Figure 10 is a diagram for explaining a process of obtaining feature points using the primary features and tertiary features in the face region shown in FIG.

図10に示すように、目探索範囲(RE3、RE4)と口探索範囲(RM2)を設定し、そして、その設定した探索範囲内の画素値を参照して、目特徴720、口特徴721を構成する画素群が配置されている範囲を求める。 As shown in FIG. 10, and set the eye search range (RE3, RE4) and the mouth search range (RM2), and, with reference to the pixel values ​​in the search range that the setting, the eye feature 720, the mouth feature 721 determining the extent to which pixel group configuration is disposed. そしてこの範囲を網羅するように、眉・目の端点の探索範囲(RE5,RE6)と口の端点の探索範囲(RM3)を設定する。 And to cover this range, it sets the search range (RE5, RE6) and the search range of the mouth of the end points of eyebrows, eyes endpoints (RM3).

そして次に、夫々の探索範囲(RE5,RE6,RM3)内で縦特徴701,横特徴702,右上がり斜め特徴703,右下がり斜め特徴704から成る連続した線分上を追跡し、その結果、水平方向に両端の位置を求め、目、眉、口の両端を求めることができる。 And then, the search range of each (RE5, RE6, RM3) in a vertical feature 701, the horizontal features 702 to track a continuous line above consists right upward slanting feature 703, right downward slanting features 704, as a result, obtains the positions of both ends in the horizontal direction can be determined eyes, eyebrows, both ends of the mouth. 1次特徴は基本的にエッジ抽出であるので、各検出結果に対して、あるしきい値以上の領域を細線化し、その結果を追跡することで端点を検出することが出来る。 Since primary features are basically edge extraction, for each detection result, the threshold or more regions thinned, it is possible to detect the end point by tracking the results.

次に、求めた各特徴点を用いて行う、表情の判定処理について説明する。 Next, with reference to the feature points obtained will be described determination process expressions. 表情の判別の個人差を無くすために、まず無表情の時の顔画像に対して、顔検出処理を行い、各局所特徴の検出結果を求める。 In order to eliminate individual differences in determination of expression, first against expressionless when the facial image, performs face detection processing, obtains the detection result of each local feature. そして、それらの検出結果を用いて、図9または図10に示した各特徴点の相対位置を求め、基準となる相対位置としてそのデータを表情判別部104に保持させておく。 Then, using these detection results, determine the relative positions of the feature points shown in FIG. 9 or 10, are kept on the data to the expression determination unit 104 as a reference becomes the relative position. そして表情判別部104は、その基準の相対位置と、上記求めた各特徴点の相対位置とを参照し、夫々の特徴点が基準からどれだけ変化したか、即ち「ずれ」を求める処理を行う。 The expression determination unit 104 performs the relative position of the reference, with reference to the relative position of each feature point obtained above, or feature points each have changed much from the reference, i.e. a process of obtaining a "deviation" . なお、撮影した画像中の顔のサイズと予め撮影した無表情の時の顔のサイズは一般的に異なるため、求めた各特徴点のうちの相対位置、例えば両目間の距離に基づいて、各特徴点の位置を正規化する。 The size of the face when the previously captured expressionless and size of the face in the captured image because generally different, the relative positions of the feature points obtained, for example, based on the distance between the eyes, the to normalize the position of the feature point.

そして、各特徴点毎にその変化に依存した得点を求め、その得点の分布に基づいて、表情を判別する。 Then, a score that depends on the change for each feature point, based on the distribution of the scores, and determines expression. 例えば、喜びの表情を示す表情は、(1)眼尻が下がる、(2)頬の筋肉が持ち上がる、(3)口の端が持ち上がるなどの特徴が見られるため、「眼の端点から口端点までの距離」、「口の横幅の長さ」、「眼の横幅の長さ」に大きな変化が現れる。 For example, the expression showing the joy facial expressions, (1) eye butt is lowered, (2) lifting muscle cheek, (3) because the characteristics such as the end of the mouth is raised seen, mouth end point from the end point of the "eyes distance to "," the length of the width of the mouth ", large changes in the" length of the width of the eye "appears. そして、それらの変化から求めた得点分布は、喜び表情に特有な得点分布となる。 Then, score distribution obtained from these changes is a unique score distribution in joy facial expression.

この特有な得点分布は他の表情に関しても同様なことが言える。 This unique score distribution can be said to be similar for the other facial expressions. 従って、分布の形状を混合ガウシアン近似してパラメトリックにモデル化し、求めた得点分布と各表情毎に設けられた得点分布との類似度判別を、パラメータ空間内の距離の大小を判定することにより求める。 Thus, modeled parametrically mixed Gaussian approximation of the shape of the distribution, the similarity determination of the obtained score distribution and the score distribution provided for each facial expression, determined by determining the magnitude of distance in the parameter space . そして、求めた得点分布とより類似度の高い得点分布(より距離の小さい得点分布)が示す表情を、判定結果としての表情とする。 Then, the expression high score distribution a more similarities with the determined score distribution (more distance smaller score distribution) is shown, the facial expression of the determination result.

また、得点総和に対して、閾値処理を行なう方法も適用可能である。 Further, with respect to the score sum, a method for performing threshold processing is also applicable. この閾値処理は、表情場面に類似した非表情場面(例えば、会話中で”い”という発音をした顔)と表情場面とを正確に判別するためにより有効である。 The thresholding, non-expression scenes similar to expression scene (e.g., to the pronunciation of "have" in a conversation face) is effective and the order to accurately determine the expression scenes. なお、得点分布形状の判別と総和の閾値処理のいずれか一方を行っても良い。 Incidentally, score determination of distribution shape and may be performed either in thresholding the sum. このように得点分布と得点の総和の閾値処理から表情の判定を行うことにより、正確に表情場面を認識し検出率を向上することができる。 Thus, by performing score distribution as determined from the threshold processing of the sum expression of scores, it is possible to improve the detection rate recognize exactly expression scene.

以上の処理によって、顔の表情を判定することができたので、表情判別部104は、判定した表情に応じたコード(各表情に個別のコード)を出力する。 The above process, since it was possible to determine the expression of the face, the facial expression determination unit 104 outputs a code corresponding to the determined expression (individual code to each facial expression). このコードは例えば番号であっても良いし、その表現方法は特に限定されるものではない。 It This code may be, for example, numbers, the expression method is not particularly limited.

次に表情判別部104は、判定した表情が、予め設定された特定の表情(例えば笑顔)であるか否かを判定し、その判定結果を制御部101に通知する(ステップS205)。 Then the expression determination unit 104 determines the facial expression, it is determined whether the preset specific expression (e.g. smiling), and notifies the determination result to the control unit 101 (step S205).

ここで、ステップS204までの処理により判定した表情が、予め設定された特定の表情と同じであった場合、例えば本実施形態の場合には、表情判別部104が出力した「表情を示すコード」と、予め設定された特定の表情を示すコードとが一致した場合、制御部101は画像保持部105が保持している撮影画像を記録部107に記録する。 Here, the expression was determined by the processing up to step S204 is, when was the same as specific expression which is set in advance, for example in the case of this embodiment, the expression determination unit 104 outputs "code indicating the expression" If, when the code indicating the specific expression which is set in advance match, the control unit 101 records the photographed image by the image holding unit 105 holds the recording unit 107. また、記録部107がDVD−RAMやコンパクトフラッシュ(登録商標)である場合には、制御部101は記録部107を制御してDVD−RAMやコンパクトフラッシュ(登録商標)等の記憶媒体に撮影画像を記録する(ステップS206)。 Further, when the recording unit 107 is a DVD-RAM, a compact flash (registered trademark) is photographed image controller 101 in a storage medium such as a DVD-RAM, compact flash by controlling the recording unit 107 (TM) the recording (step S206). また、記録する画像を、顔領域の画像、即ち、特定の表情の顔画像としても良い。 Further, an image to be recorded, the image of the face region, i.e., may be a specific facial expression image.

一方、ステップS204までの処理により判定した表情が、予め設定された特定の表情と同じではなかった場合、例えば本実施形態の場合には、表情判別部104が出力した「表情を示すコード」と、予め設定された特定の表情を示すコードとが一致しなかった場合、制御部101は撮像部100を制御し、新たな画像を撮影させる。 Meanwhile, the expression was determined by the processing up to step S204 is the case was not the same as the specific expression which is set in advance, for example in the case of this embodiment, the expression determination unit 104 outputs a "code indicating the expression" , when the code indicating the specific expression which is set in advance do not match, the control unit 101 controls the imaging unit 100, thereby capturing a new image.

なお、判定された表情が特定の表情であった場合にはその他にも、例えばステップS206で、制御部101が撮像部100を制御して次の画像を撮影させつつ、撮影した画像を記録部107に保持させるようにしても良い。 The other even if the determined facial expression was a specific facial expression, for example, in step S206, the control unit 101 controls the imaging unit 100 while photographing the next image recording unit recorded images it may be caused to hold the 107. また、制御部101は表示部106を制御して、撮影した画像を表示部106に表示しても良い。 The control unit 101 controls the display unit 106 may display the photographed image on the display unit 106.

一般に表情は急激に変化するものではなく、或程度の連続性を有するものであるので、上記ステップS202、ステップS204における処理が比較的短時間で終了すると、特定の表情を示した画像と連続した画像も同様な表情を示していることが多い。 In general expression is not rapidly changing, because those having a certain degree of continuity, the step S202, the processing in step S204 is completed in a relatively short period of time, continuous image showing specific expression image also often shows a similar look. そこで、ステップS202で検出された顔領域をより明瞭とすべく、制御部101が撮影部100の撮影パラメータ(露出補正、自動焦点、色補正等、撮像系の撮像パラメータ)を設定し、再撮影を行ない、表示、記録するように動作させることも可能である。 Therefore, in order to more clearly the detected face region in step S202, the control unit 101 sets the camera parameters of the camera section 100 (exposure correction, automatic focus, color correction and the like, the imaging parameters of the imaging system), recaptured the performed, display, it is possible to operate to record.

図11は本実施形態に係る画像処理装置の基本構成を示す図である。 Figure 11 is a block diagram showing the basic arrangement of an image processing apparatus according to this embodiment.

1001はCPUで、RAM1002やROM1003に格納されたプログラムやデータを用いて本装置全体の制御を行うと共に、上記表情判定に係る一連の処理を実行する。 1001 by a CPU, a which controls the overall apparatus using programs and data stored in the RAM1002 and ROM 1003, executes the series of processes according to the facial expression determination. またCPU1001は図1では上記制御部101に相当するものである。 The CPU1001 is equivalent to the control unit 101 in FIG.

1002はRAMで、外部記憶装置1007や記憶媒体ドライブ1008からロードされたプログラムやデータ、I/F1009を介して撮像部100から入力される画像のデータなどを一時的に格納するエリアを備えると共に、CPU1001が各種の処理を実行する為に必要なエリアも備える。 1002 is RAM, the program and data loaded from an external storage device 1007 or storage medium drive 1008, with an area for storing such data temporarily in the image input from the imaging unit 100 via the I / F 1009, CPU1001 and also a necessary area in order to perform various types of processing. 図1では中間検出結果保持部103と画像保持部105とがこのRAM1002に相当する。 In Figure 1 the intermediate detection result holding unit 103 and the image holding unit 105 corresponds to the RAM 1002.

1003はROMで、例えば本装置全体のボートプログラムや設定データなどを格納する。 1003 stores in ROM, for example, the apparatus and the entire boat programs and setting data.

1004、1005は夫々キーボード、マウスで、夫々CPU1001に対して各種の指示を入力するために用いる。 1004 and 1005 are each keyboard, a mouse, is used to input various instructions to the respective CPU 1001.

1006は表示装置で、CRTや液晶画面などにより構成されており、画像や文字などにより構成されている各種の情報を表示することができる。 1006 denotes a display device which comprises a CRT or LCD screen, can display various information is constituted by image or character. 図1では表示部106に相当するものである。 It corresponds to the display unit 106 in FIG.

1007は外部記憶装置で、ハードディスクドライブ装置などの大容量情報記憶装置として機能するものであり、ここにOS(オペレーティングシステム)やCPU1001が上記表情判定に係る一連の処理を実行する為に実行するプログラムなどを保存している。 1007 denotes an external storage device, which functions as a large-capacity information storage device such as a hard disk drive, where an OS (operating system) and programs CPU1001 executes to perform a series of processes according to the facial expression determination It has saved the like. そしてこのプログラムはCPU1001からの指示により、RAM1002に読み出され、CPU1001により実行されるものである。 And this program is an instruction from the CPU 1001, are read out to RAM1002, it is executed by the CPU 1001. なお、このプログラムは、図1に示した顔検出部102、表情判別部104をプログラムにより実現した場合には、この顔検出部102、表情判別部104に相当するプログラムを含むものである。 Note that this program is the face detection unit 102 shown in FIG. 1, when realized by a program expression determination unit 104, the face detection unit 102, it is intended to include a program corresponding to the facial expression determination unit 104.

1008は記憶媒体ドライブ装置1008で、CD−ROMやDVD−ROM等の記憶媒体に記録されたプログラムやデータを読み出してRAM1002や外部記憶装置1007に出力するものである。 1008 in the storage medium drive device 1008, and outputs reading a program or data recorded in a storage medium such as a CD-ROM or DVD-ROM to RAM1002 or the external storage device 1007. なお、CPU1001が上記表情判定に係る一連の処理を実行する為に実行するプログラムをこの記憶媒体に記録しておき、CPU1001からの指示により、記憶媒体ドライブ装置1008がRAM1002に読み出すようにしても良い。 Incidentally, CPU 1001 is may be recorded in the storage medium a program to be executed to perform a series of processes according to the facial expression determination, according to an instruction from the CPU 1001, a storage medium drive device 1008 may be read out to RAM1002 .

1009はI/Fで、図1に示した撮像部100と本装置を接続するためのもので、撮像部100が撮像した画像のデータはI/F1009を介してRAM1002に出力される。 1009 In I / F, for connecting the apparatus and the imaging unit 100 shown in FIG. 1, data of an image by the imaging unit 100 has captured is outputted to RAM1002 via the I / F 1009.

1010は上記各部を繋ぐバスである。 1010 is a bus that connects the above-described sections.

続いて、本実施形態に係る画像処理装置を撮像装置に搭載させることにより、被写体が特定表情の場合に撮影を行う場合について、図12を参照して説明する。 Then, by the image processing apparatus according to this embodiment is mounted to the imaging apparatus, the case of performing photographing when the object is of a particular expression, it will be described with reference to FIG. 12. 図12は本実施形態に係る画像処理装置を撮像装置に用いた例の構成を示す図である。 Figure 12 is an example diagram showing a configuration of an image capturing apparatus image processing apparatus according to this embodiment.

図12中の撮像装置5101は、撮影レンズおよびズーム撮影用駆動制御機構を含む結像光学系5102、CCD又はCMOSイメージセンサー5103、撮像パラメータの計測部5104、映像信号処理回路5105、記憶部5106、撮像動作の制御、撮像条件の制御などの制御用信号を発生する制御信号発生部5107、EVFなどファインダーを兼ねた表示ディスプレイ5108、ストロボ発光部5109、記録媒体5110などを具備し、更に上述した画像処理装置5111を表情検出装置として備える。 Imaging device 5101 in FIG. 12, an imaging optical system 5102 including an imaging lens and a zoom photographing drive control mechanism, CCD or CMOS image sensor 5103, an imaging parameter measuring unit 5104, a video signal processing circuit 5105, memory unit 5106, control of the imaging operation, the control generates a control signal such as control of the imaging condition signal generating unit 5107, the display also serves as a finder, such as EVF display 5108, flash projector 5109, equipped with such a recording medium 5110, and further described image It includes a processing unit 5111 as a facial expression detection device.

この撮像装置5101は、例えば撮影された映像中から人物の顔画像の検出(存在位置・サイズ・回転角度の検出)と表情の検出を画像処理装置5111により行う。 The imaging device 5101 is performed by the image processing apparatus 5111, for example (detection of the location, size, rotation angle) detection of the subject acquired face image from the video and facial expression detection. そして、その人物の位置情報や表情情報等が画像処理装置5111から制御信号発生部5107に入力されると、同制御信号発生部5107は、撮像パラメータ計測部5104からの出力に基づき、その人物の画像を最適に撮影する制御信号を発生する。 When the position information and the facial expression information, etc. of the person is entered from the image processing apparatus 5111 to the control signal generation unit 5107, the control signal generating unit 5107, based on the output from the imaging parameter measuring unit 5104, of the person generating a control signal for optimally capturing image. 具体的には、例えば、人物の顔画像が撮影領域の中央に、所定以上のサイズで正面向きに得られ、笑った表情のときを撮影時点とすることができる。 Specifically, for example, the center of the face image capturing area of ​​the person, obtained frontally with a predetermined or more sizes may be the imaging point of time when the smiling facial expression.

上述した画像処理装置を、このように撮像装置に用いることで、顔検出と表情検出、それに基づくタイミングの良い撮影を行うことができるようになる。 The image processing apparatus described above, by using this as the imaging device, the face detection and facial expression detection, it is possible to perform timing good shooting based on it. なお、上記説明では、上述した処理装置を画像処理装置5111として備える撮像装置5101について説明したが、当然、上述したアルゴリズムをプログラムとして実装し、CPUで動作させる処理手段として、撮像装置5101に搭載することも可能である。 In the above description, the imaging apparatus 5101 having the above-described processing apparatus as an image processing apparatus 5111, of course, to implement the algorithm described above as a program, as a processing means for operating in a CPU, and mounted to the imaging apparatus 5101 it is also possible.

またこの撮像装置に適用可能な画像処理装置としては本実施形態に係るものに限定されるものではなく、以下説明する実施形態に係る画像処理装置を適用しても良い。 The present invention is not limited to those according to the present embodiment as applicable image processing apparatus to the image pickup apparatus may be applied to an image processing apparatus according to the embodiment will be described below.

上記説明したように、本実施形態に係る画像処理装置は、一次特徴、二次特徴、、、というような局所特徴を用いるので、撮影画像における顔の領域を特定できるだけでなく、新たに口や目などの検出処理を行うことなく、より簡便に表情の判定処理を行うことができる。 As described above, the image processing apparatus according to this embodiment, the primary feature, since use of the local features such as that secondary feature ,,, not only identify areas of the face in the captured image, Ya new mouth without performing detection processing, such as the eyes, more simply it can perform the determination process of expression.

また、撮影画像中における顔の位置や向きなどがまちまちであっても、上記各局所特徴を求めることが出来、その結果、表情の判定処理を行うことができるので、撮影画像中における顔の位置や向きなどにロバストな表情判定を行うことができる。 Even such that with varying the position and orientation of the face in the captured image, it is possible to obtain the above-mentioned each local feature, as a result, it is possible to perform the determination processing of the facial expression, the position of the face in the captured image such as in and orientation can be carried out in a robust expression determination.

また本実施形態によれば、何度も撮影を行う過程において、特定の表情のみを撮影することができる。 According to this embodiment, in the process of performing imaging many times, it can be taken only specific expression.

なお、本実施形態では顔の領域を検出するための画像は撮影画像であったが、これに限定されるものではなく、予め保存しておいたものであっても良いし、ダウンロードしたものであっても良い。 Note that in this embodiment, an image is captured image to detect the face region, is not limited thereto, may be one which has been previously stored, which was downloaded it may be.

[第2の実施形態] Second Embodiment
本実施形態では、第1の実施形態における顔検出領域の検出処理(ステップS202)と表情判別処理(ステップS204)とを並列に行なう。 In this embodiment, detection processing of the face detection area in the first embodiment (step S202) and the expression determination process (step S204) and performed in parallel. これにより、全体の処理をより高速に行うことができる。 Thus, it is possible to perform the entire process faster.

図3は、本実施形態に係る画像処理装置の機能構成を示す図である。 Figure 3 is a diagram showing the functional arrangement of an image processing apparatus according to this embodiment. 本実施形態に係る構成において、実質的には中間検出結果保持部303の構成と、画像保持部305の構成が第1の実施形態に係るそれとは異なっている。 In the configuration of this embodiment, substantially the configuration of the intermediate detection result holding unit 303, the configuration of the image holding unit 305 is different from that of the first embodiment.

中間検出結果保持部303はさらに、中間検出結果保持部A313と中間検出結果保持部B314で構成されている。 Intermediate detection result holding unit 303 is further configured by the intermediate detection result holding unit A313 and the intermediate detection result holding unit B 314. また、画像保持部305も同様に、画像保持部A315と画像保持部B316で構成されている。 The image holding unit 305 similarly is constructed by the image holding unit A315 and the image holding unit B 316.

続いて、図3に示す構成の動作を、図4のタイミングチャートを用いて説明する。 Subsequently, an operation of the configuration shown in FIG. 3 will be described with reference to the timing chart of FIG.

図4のタイミングチャートにおいて、“A”の表示はAモードで動作することを、“B”の表示はBモードで動作することを示している。 In the timing chart of FIG. 4, a display of "A" is able to operate in A mode, "B" display indicates that operating in B-mode. 「画像撮影」のAモードとは、撮影した画像を画像保持部305に保持する際に、画像保持部A315に保持することを、Bモードとは、画像保持部B316に保持することを示す。 The A mode "image capturing", when holding the captured image in the image holding unit 305, to hold the image holding unit A315, B-mode and indicates to hold the image holding unit B 316. 以下、画像撮影のAモードとBモードとは交互に切り替わり、それに応じて撮像部300は画像の撮影を行うことから、撮像部300は連続して画像を撮影を行う。 Hereinafter, it toggles the A mode and the B mode image capturing, perform photographing the image capturing unit 300 from performing the captured image, the imaging unit 300 continuously accordingly. なお撮影のタイミングは制御部101が与えるものとする。 Note shooting timing shall control unit 101 gives.

また、「顔検出」のAモードとは、顔検出部302の顔領域検出処理において、中間処理結果を中間検出結果保持部303に保持する際に、中間検出結果保持部A313に保持することを、Bモードとは、中間検出結果保持部B314に保持することを示す。 Further, the A mode "face detection", the face area detection process of the face detecting section 302, when holding the intermediate processing results in the intermediate detection result holding unit 303, to hold the intermediate detection result holding unit A313 , B-mode and indicates to hold the intermediate detection result holding unit B 314.

さらに「表情判別」のAモードとは、表情判別部304の表情判別処理において、画像保持部A315に保持された画像と中間検出結果保持部A313に保持された中間処理結果、及び顔検出部302の顔領域情報を用いて表情を判別することを示し、またBモードとは、画像保持部B316に保持された画像と中間検出結果保持部B314に保持された中間特徴検出結果、及び顔検出部302の顔領域情報とを用いて表情を判別することを示す。 Furthermore the A mode of "expression discrimination" in the expression determination process of the expression determination unit 304, intermediate processing results held in the image and the intermediate detection result holding unit A313 which is held in the image holding unit A315, and the face detection unit 302 It indicates that to determine the facial expression by using the region information and the mode B, the image held in the image holding unit B316 and the intermediate detection result intermediate feature detection result held in the holding section B 314, and the face detection unit It indicates that to determine the expression using the 302 of the face region information.

次に、本実施形態に係る画像処理装置の動作について説明する。 Next, the operation of the image processing apparatus according to this embodiment.

最初に画像撮影のAモードで画像の撮影を行なうことにより、画像保持部305の画像保持部A315に撮影された画像が保持される。 By performing the imaging of the image in the A mode of the first image capturing, image photographed in the image holding unit A315 of the image holding unit 305 is held. また、表示部306に画像が表示され、さらに顔検出部302に画像が入力される。 The image is displayed on the display unit 306, an image is input to the further face detection unit 302. 次に、顔検出部302では、入力された画像に対して、第1の実施形態と同様な処理を行うことにより顔領域情報を生成する処理を行う。 Next, the face detection unit 302, the input image, the processing of generating a face area information by performing processing similar to the first embodiment performs. そして、画像中に顔が検出されれば、顔領域情報のデータが表情判別部304に入力される。 The face in the image is if it is detected, the data of the face area information is input to the expression determination unit 304. また、その顔検出処理の途中で得られる中間特徴検出結果を中間検出結果保持部303の中間検出結果保持部A313に保持させる。 Further, to hold intermediate feature detection results obtained in the course of the face detection processing to the intermediate detection result holding unit A313 of the intermediate detection result holding unit 303.

次に、Bモードの画像撮影とBモードの顔検出処理、Aモードの表情判別処理が並列に行なわれる。 Next, the face detection processing of the image capturing and B-mode B-mode, facial expression determination processing in A mode is performed in parallel. Bモードの画像撮影では、画像保持部305の画像保持部B316に撮影された画像が保持される。 In the performing imaging of B-mode, images captured in the image holding section B316 of the image holding unit 305 is held. また、表示部306に画像が表示され、さらに顔検出部302に画像が入力される。 The image is displayed on the display unit 306, an image is input to the further face detection unit 302. そして、顔検出部302で、入力された画像に対して、第1の実施形態と同様の処理を行うことにより顔領域情報を生成する処理を行い、中間処理結果保持部B314に中間処理結果を保持する。 Then, the face detection unit 302, the input image is employed to generate a facial area information by performing the same process as in the first embodiment, the intermediate processing result to the intermediate process result holding unit B314 Hold.

また、上記のBモードの画像撮影とBモードの顔領域検出処理と並列に、Aモードの表情判別処理が行なわれる。 Further, in parallel with the face area detecting process of the image capturing and B-mode of the B-mode, facial expression determination processing in A mode it is performed. Aモードの表情判別処理では、表情判別部304で、画像保持部A315から入力された画像に対して、顔検出部302からの顔領域情報及び中間検出結果保持部A313に保持された中間特徴検出結果を用い、表情判別部304で顔の表情を判別する。 In expression determination processing A mode is a facial expression determination unit 304, the input image from the image holding unit A315, an intermediate feature detection retained in the face area information and intermediate detection result holding unit A313 from the face detecting unit 302 using the results, to determine the facial expression in the expression determination unit 304. 表情判別部304で判別した表情が所望の表情の場合は、画像保持部A315の画像を記録して終了となる。 Expression was determined by the expression determination unit 304 if desired expression, is completed by recording the image of the image holding unit A315.

表情判別部304で判別した表情が所望の表情と異なる場合は、続いて、Aモードの画像撮影とAモードの顔領域検出処理、Bモードの表情判別処理が並列に行なわれる。 If facial expression is determined by the expression determination unit 304 is different from the desired facial expression, subsequently, the face area detecting process of the image capturing and A mode A mode, facial expression determination processing B mode is performed in parallel. Aモードの画像撮影では、画像保持部305の画像保持部A315に撮影された画像が保持される。 In the performing imaging of A mode, images captured in the image holding unit A315 of the image holding unit 305 is held. また、表示部306に画像が表示され、さらに顔検出処理部302に画像が入力される。 The image is displayed on the display unit 306, an image is input to the further face detection processing unit 302. 続いて、顔検出部302で、入力された画像に対して、顔領域を検出する処理を行う。 Subsequently, the face detection unit 302, the input image, performs a process of detecting a face region. また、並列に行なわれる、Bモードの表情判別処理では、表情判別部304で、画像保持部B316から入力された画像に対して、顔検出部302からの顔領域情報及び中間検出結果保持部B314に保持された中間検出結果を用い、表情判別部304で顔の表情を検出する。 Also, performed in parallel, the expression determination processing B mode, facial expression determination unit 304, the input image from the image holding unit B 316, the face area information and intermediate detection result from the face detection unit 302 holder B314 using an intermediate detection result stored in, to detect facial expressions in expression determination unit 304.

以下、表情判別部304で判別した表情が特定の表情と判定されるまで、同様の処理を繰り返す。 Hereinafter, until the facial expression is determined by the expression determination unit 304 determines that specific expression, the same process is repeated. そして、所望の表情と判別されると、表情判別処理がAモードであれば画像保持部A315の画像を、Bモードであれば画像保持部B316の画像を記録して終了となる。 When it is determined that the desired expression, facial expression determination process is an image of the image holding unit A315 If A mode is terminated by recording the image of the image holding unit B316 if B mode.

なお、各処理におけるモードの切り替えは制御部101が行い、そのタイミングは顔検出部102が行う顔検出処理の終了を制御部101が検知した時点でモードの切り替えを行うものとする。 The switching mode of each process performs the control unit 101, the timing will be made to switch the mode when the control unit 101 of the completion of the face detection processing face detection unit 102 performs detects.

このように、画像保持部305が画像保持部A315及び画像保持部B316から、また中間検出結果保持部303が中間検出結果保持部A313及び中間検出結果保持部B314から構成されているため、画像撮影及び顔領域検出処理、と表情判別処理とを並列に行なうことが出来、結果として、表情を判別する画像の撮影レートを上げることが出来る。 Thus, since the image holding unit 305 and an image holding unit A315 and the image holding section B 316, also an intermediate detection result holding unit 303 from the intermediate detection result holding unit A313 and intermediate detection result holding unit B 314, an image capturing and the face area detecting process, and can be performed and expression determination process in parallel, as a result, it is possible to increase the shot rate of the image to determine the expression.

[第3の実施形態] Third Embodiment
本実施形態に係る画像処理装置は、第1,2の実施形態における顔検出部102が行う顔領域検出処理と、表情判別部104が行う表情判別処理とを並列に行なうことにより、システム全体のパフォーマンスを向上させることを目的とする。 The image processing apparatus according to the present embodiment, the face area detecting process which the face detection unit 102 in the first and second embodiments is performed, by performing the expression determination process expression determination unit 104 performs in parallel, the overall system It aims to improve performance.

第2の実施形態では、画像撮影及び顔領域検出処理の方が、表情判別処理よりも動作時間がかかることを利用して、表情判別処理と、次の画像の撮影及び次の画像中の顔領域の検出処理を並列に行なっていた。 In the second embodiment, towards the image capturing and face area detecting process, by utilizing the fact that such operating time than the expression determination process, the facial expression determination process, the face of the next image capturing and in the next image the detection process of a region has been performed in parallel. それに対し本実施形態では、顔検出処理において、第1の実施形態の図7に示した4次特徴量を検出する処理が、1次特徴量から3次特徴量を検出するのと比較して処理時間がかかることを利用して、顔領域情報は前画像の検出結果を利用し、目や口といった表情の検出に使用する特徴点の検出結果は現画像の検出結果を利用する。 In this embodiment contrast, in the face detection processing, the processing of detecting the fourth order characteristic amount shown in FIG. 7 of the first embodiment, as compared from the primary feature quantity as to detect the tertiary feature amount by utilizing the fact that the process time consuming, face region information using the detection result of the previous image, the detection result of the feature point to be used for the detection of expression, such as eyes or mouth using a detection result of the current image. これにより、顔領域検出処理と表情判別処理の並列処理を実現するものである。 Thus, it realizes the parallel processing of the face area detecting process and expression determination processing.

図5は本実施形態に係る画像処理装置の機能構成を示す図である。 Figure 5 is a diagram showing the functional arrangement of an image processing apparatus according to this embodiment.

撮像部500は時系列画像又は動画像を撮像して、各フレームの画像のデータを顔検出部502、画像保持部505、表示部506、記録部507に出力するものである。 Imaging unit 500 captures a time-series images or a moving image, the face detecting unit 502 data for each frame image, the image holding unit 505, display unit 506, and outputs to the recording unit 507. 本実施形態に係る構成において、実質的には、顔検出部502と表情判別部504とが第1の実施形態に係るそれとは異なっている。 In the configuration of this embodiment, substantially, and the face detection unit 502 and the facial expression determination unit 504 is different from that of the first embodiment.

顔検出部502は、第1の実施形態に係る顔領域検出処理と同じ処理を行うのであるが、その処理が終了すると、終了信号を表情判別部504に出力する。 The face detection unit 502, but is performed the same processing as the face region detection processing according to the first embodiment, when the process is completed, and outputs an end signal to the facial expression determination unit 504.

表情判別部504は、さらに前画像検出結果保持部514を含む構成を備える。 Expression determination unit 504 further includes a configuration including a front image detection result holding unit 514.

次に、図5に示した各部が行う処理について、図6に示すタイミングチャートを用いて説明する。 Next, the processing performed by the units shown in FIG. 5 will be described with reference to the timing chart shown in FIG.

撮像部500により最初のフレームの画像が撮影されると、この画像のデータは顔検出部502に入力される。 When the image of the first frame is photographed by the imaging unit 500, the data of the image is input to the face detection unit 502. 顔検出部502では、入力された画像に対して、第1の実施形態と同様の処理を行うことにより顔領域情報を生成し、表情判別部504に出力する。 The face detecting unit 502, the input image, and generates face region information by performing the same process as in the first embodiment, and outputs the facial expression determination unit 504. 表情判別部504に入力された顔領域情報は前画像検出結果保持部514に保持される。 Face-area information input to the facial expression determination unit 504 is held prior to the image detection result holding unit 514. また、その途中で得られる中間特徴検出結果は中間検出結果保持部503に入力され、保持される。 The intermediate feature detection results obtained in the middle is input to the intermediate detection result holding unit 503 and held.

続いて、次のフレームの画像が撮像部500により撮影されると、この画像のデータは画像保持部505に入力される。 Subsequently, when the image of the next frame is captured by the imaging unit 500, the data of the image is input to the image holding unit 505. また、表示部506にその撮影された画像が表示され、さらに顔検出部502に画像が入力される。 Also, the captured image is displayed on the display unit 506, an image is input to the further face detecting unit 502. そして、顔検出部502は第1の実施形態と同様の処理を行うことにより顔領域情報を生成する。 Then, the face detecting unit 502 generates a face area information by performing the same process as in the first embodiment. この顔領域検出処理が終了すると、顔検出部502は、その中間特徴の検出結果を中間検出結果保持部503に入力するとともに、表情判別部504が行うべき一連の処理が終了したことを示す信号を出力する。 When the face area detecting process is finished, the face detecting unit 502, a signal indicating that the intermediate characteristics of the detection result as well as the input to the intermediate detection result holding unit 503, a series of processes to be performed by the facial expression determination unit 504 has been completed to output.

そして、表情判別部504の判別結果の表情が、所望の表情でなかった場合は、顔検出部502で得られた顔領域情報を表情判別部504の前画像検出結果保持部514に保持する。 Then, the determination result of the expression of the expression determination unit 504, if not the desired expression holds face-area information obtained by the face detection unit 502 before the image detection result holding unit 514 of the facial expression determination unit 504.

表情判別部504では、顔検出部502から上記終了信号を受けると、前画像検出結果保持部514に保持されている前画像(一つ若しくはそれ以上前のフレームの画像)に対する顔領域情報601と、画像保持部505に保持されている現画像(現在のフレームの画像)と、中間検出結果保持部503に保持されている現画像の中間特徴検出結果602を用いて、現画像に対する表情判別処理を行う。 The expression determination unit 504, when receiving the completion signal from the face detecting unit 502, the previous image detection result holding unit 514 face-area information 601 for the previous held image (one or more images of the previous frame) in , the current image held in the image holding unit 505 (image of the current frame), using the intermediate feature detection result 602 of the current image held in the intermediate detection result holding unit 503, the facial expression determination processing for the current image I do.

即ち、1つ若しくはそれ以上前のフレームの画像において顔領域情報によって特定される領域に位置的に対応する原画像中の領域について、この領域から得られた中間検出結果を用いて表情判別処理を行う。 That is, the region in the original image that positionally correspond to the area specified by the facial area information in one or more images of the previous frame, the facial expression determination process using the intermediate detection result obtained from the area do.

前画像を撮影した時間と現画像を撮影した時間との差が短ければ、夫々の画像中の顔領域の位置は大きくは変化しない。 Is shorter the difference between the previous time taken the time and the current image associated with the image, the position of the face region in the image of each is largely unchanged. そのため、上記のように、顔領域情報は前画像から得られたものを使用し、図9、図10に示した探索領域をより広く設定することで、前画像と現画像の顔領域の位置等のずれによる影響を抑えることができ、表情の判別処理を行なうことができる。 Therefore, as described above, the face area information is used as obtained from previous image, FIG. 9, by setting wider search area shown in FIG. 10, the position of the face area of ​​the previous image and the current image it is possible to suppress the influence due to the deviation of the like, it is possible to perform discrimination processing of facial expression.

表情判別部504で判別した表情が所望の表情の場合は、画像保持部505の画像を記録して終了となる。 Expression was determined by the expression determination unit 504 if desired expression, is completed by recording the image of the image holding unit 505. 表情判別部504で判別した表情が所望の表情と異なる場合は、次の画像を撮影し、顔検出部502で顔検出処理を行い、また表情判別部504で、撮影した画像、前画像検出結果保持部514に保持されている前画像に対する顔検出結果、中間検出結果保持部503に保持されている中間処理結果を用いて、表情の判別処理が行われる。 If facial expression is determined by the expression determination unit 504 is different from the desired expression captures the next image, performs face detection processing by the face detecting unit 502, and in the expression determination unit 504, shot image, before image detection result face detection result for the previous image held in the holding section 514, using the intermediate processing results held in the intermediate detection result holding unit 503, determination processing of the expression is performed.

以下、表情判別部504で判別した表情が所望の表情になるまで、同様の処理を繰り返す。 Hereinafter, until the facial expression is determined by the expression determination unit 504 has a desired facial expression, the same process is repeated. そして、所望の表情と判別されると、画像保持部505の画像を記録して終了となる。 When it is determined that the desired facial expression, is completed by recording the image of the image holding unit 505.

このように、前画像検出結果保持部514に保持されている前画像に対する顔領域情報と中間検出結果保持部503に保持されている中間特徴検出処理結果を用いて、表情の判別処理が行われることにより、顔領域検出処理と表情判別処理とを並列に行なうことが出来、結果として、表情を判別する画像の撮影レートを上げることが出来る。 Thus, by using the intermediate characteristic detection processing result held prior to the image detection result holding unit 514 face-area information and the intermediate detection result for the previous image held in the holding section 503, determination processing of the expression is performed it makes it possible to perform the face area detecting process and the facial expression determination process in parallel, as a result, it is possible to increase the shot rate of the image to determine the expression.

[第4の実施形態] Fourth Embodiment
上記実施形態では顔の表情を判別する為の技術について説明したが、本実施形態では、その顔が誰のものであるかの判別、すなわち顔に対する個人の判別するための技術について説明する。 In the above embodiment has been described technique for determining the facial expression, in the present embodiment, determination of whether the face is Whose, i.e. be described technique for determining the individual against the face.

図13は本実施形態に係る画像処理装置の機能構成を示す図である。 Figure 13 is a diagram showing the functional arrangement of an image processing apparatus according to this embodiment. 本実施形態に係る画像処理装置は、撮像部1300、制御部1301、顔検出部1302、中間検出結果保持部1303、個人判別部1304、画像保持部1305、表示部1306、記録部1307から成る。 The image processing apparatus according to this embodiment is composed of an imaging unit 1300, the control unit 1301, a face detecting section 1302, an intermediate detection result holding unit 1303, personal discrimination unit 1304, the image holding unit 1305, a display portion 1306, a recording unit 1307. 以下、各部について説明する。 The following describes each part.

撮像部1300は、制御部1301からの制御信号に基づいて画像を撮影し、その撮影した画像(撮影画像)を、顔検出部1302、画像保持部1305、表示部1306若しくは記録部1307に出力する。 Imaging unit 1300 captures an image based on the control signal from the control unit 1301, and outputs the captured image (captured image), the face detection unit 1302, the image holding unit 1305, the display unit 1306 or the recording unit 1307 .

制御部1301は、本実施形態に係る画像処理装置全体を制御するための処理を行うものであり、撮像部1300、顔検出部1302、中間検出結果保持部1303、個人判別部1304、画像保持部1305、表示部1306、記録部1307と接続されており、各部が適切なタイミングで動作するよう、各部を制御するものである。 Control unit 1301 is for performing processing for controlling the entire image processing apparatus according to the present embodiment, the imaging unit 1300, a face detecting section 1302, an intermediate detection result holding unit 1303, personal discrimination section 1304, an image holding unit 1305, a display portion 1306 is connected to the recording unit 1307, so that each section is operated at an appropriate timing, and controls the respective units.

顔検出部1302は、撮像部1301からの撮影画像において顔の領域(撮影画像中に含まれる顔の画像の領域)を検出する処理を行う。 Face detection unit 1302 performs a process of detecting a face area in the captured image from the imaging unit 1301 (region of a face image contained in the captured image). この処理は即ち、撮影画像中の顔領域の有無の判別、顔領域が存在する場合にはこの顔領域の数、撮影画像における顔領域の座標位置、顔領域のサイズ、顔領域の撮影画像における回転量(例えば顔領域を矩形とする場合、この矩形が撮影画像においてどの方向にどれだけ傾いているかを示す回転量)を求める処理に換言される。 The process that is, determination of the presence or absence of the face region in the captured image, the number of the face region if there is a face region, the coordinate position of the face area in the captured image, the size of the face area, in the captured image of the face area (If, for example, the face region is a rectangular, the rectangle which rotation amount indicating only is inclined in any direction in the captured image) amount of rotation is in other words the process of obtaining the. なお、これらの情報(撮影画像中の顔領域の数、撮影画像における顔領域の座標位置、顔領域のサイズ、顔領域の撮影画像における回転量)を総称して以下、「顔領域情報」と呼称する。 Note that these information below collectively (the number of face regions in the photographed image, the coordinate position of the face area in the captured image, the size of the face region, the rotation amount in the captured image of the face area), and "face-area information" referred to. 従って、顔領域情報を求めることにより、撮影画像における顔の領域を特定することができる。 Therefore, by obtaining the face region information, it is possible to specify the area of ​​the face in the captured image.

これらの検出結果は表情判別部1304に出力する。 These detection results are output to the facial expression determination unit 1304. また、検出処理の途中で得られる後述の中間検出結果は中間検出結果保持部1303へ出力する。 Also, the way the intermediate detection result of the later obtained detection processing is output to the intermediate detection result holding unit 1303.

中間検出結果保持部1303は、顔検出部1302から出力された上記中間特徴検出結果を保持する。 Intermediate detection result holding unit 1303 holds the intermediate feature detection result output from the face detection unit 1302.

個人判別部1304は、顔検出部1302から出力される顔領域情報のデータと、中間検出結果保持部1303から出力される上記中間特徴検出結果のデータとを受け付ける。 Personal discrimination unit 1304 receives the data of the face area information output from the face detection unit 1302, and of the intermediate feature detection result output from the intermediate detection result holding unit 1303 data. そして、それらのデータに基づいて、この顔が誰のものであるかの判別処理を行う。 Based on these data, the controller 6 determines whether the face is Whose. この判別処理について詳しくは後述する。 For more information about this determination process will be described later.

画像保持部1305は、撮像部1300から出力された撮影画像を一時的に保持し、制御部1301の制御信号に基づいて、保持している撮影画像の全部若しくは一部を表示部1306、記録部1307へ出力する。 Image holding unit 1305 temporarily stores the captured image output from the imaging unit 1300, based on the control signal of the control unit 1301, a display portion 1306 all or part of the captured image held, recording unit to output to 1307.

表示部1306は、例えばCRTや液晶画面などにより構成されており、画像保持部1305から出力された撮影画像の全部若しくは一部、又は撮像部1300で撮像された撮影画像を表示する。 Display unit 1306, for example, a CRT or LCD screen is constituted by, all or part of the output captured image from the image holding unit 1305, or to display a captured image captured by the imaging unit 1300.

記録部1307は、ハードディスクドライブやDVD−RAM、コンパクトフラッシュ(登録商標)などの記憶媒体に情報を記録する装置により構成されており、画像保持部1305に保持された画像、または撮像部1300で撮像された撮影画像を記録する。 Imaging recording unit 1307, a hard disk drive or DVD-RAM, compact flash (registered trademark) is constituted by a device for recording information in a storage medium such as an image held in the image holding unit 1305 or the imaging unit 1300, the photographed image is recorded.

次に、上記各部の動作によって実行される、撮影画像中の顔が誰のものであるかを判別する為のメインの処理について、同処理のフローチャートを示す図14を用いて説明する。 Next, it is performed by the operations of the respective units, the main processing for determining whether the face in the captured image is Whose will be described with reference to FIG. 14 which shows the flowchart of that processing.

先ず、制御部1301からの制御信号に基づいて撮像部1300が画像を撮影する(ステップS1401)。 First, the imaging unit 1300 captures an image based on the control signal from the control unit 1301 (Step S1401). 撮影された画像のデータは、表示部1306に表示されると共に、画像保持部1305に出力され、更には顔検出部1302に入力される。 Data of a photographed image is is displayed on the display unit 1306, is output to the image holding unit 1305, and further inputted to the face detection unit 1302.

次に、顔検出部1302は入力された撮影画像を用いて、この撮影画像中の顔の領域を検出する処理を行う(ステップS1402)。 Then, the face detection unit 1302 by using the photographed image inputted, performs a process of detecting a region of a face in the captured image (step S1402). この顔領域の検出処理については第1の実施形態と同様にして行うので、その説明は省略するが、顔検出処理における中間処理結果として、目・口、目や口の端点といった個人識別に有用な特徴が検出されているというのが、本実施形態に係る顔検出処理方式の大きな特徴である。 Since the detection process of the face area is performed similarly to the first embodiment, its description is omitted, as the intermediate processing results in the face detection process, useful for personal identification such as end points of the eyes, mouth, eyes and mouth a feature is that has been detected, a significant feature of the face detection processing method according to the present embodiment.

次に、制御部1301は、ステップS1402で顔検出部1302による顔領域検出処理の結果を参照して、撮影画像において顔領域が存在するか否かを判定する(ステップS1403)。 Next, the control unit 1301 refers to the result of the face area detecting process by the face detecting unit 1302 in step S1402, determines whether a face area exists in the photographed image (step S1403). この判定方法としては例えば、(顔)特徴検出層内の各ニューロンのうち、出力値がある基準値以上のニューロンが存在するかを判定し、基準値以上のニューロンが示す位置に顔(領域)が存在するとする。 As the determination method, for example, (a face) of each neuron of the feature detection layer, it is determined whether the reference value or more neurons in the output value exists, the face at the position indicated by the reference value or more neurons (region) there is to be present. また、基準値以上のニューロンが存在しない場合は、顔が存在しないとする。 Further, when the reference value or more neurons does not exist, and there is no face.

そしてステップS1403における判定処理の結果、撮影画像中に顔領域が存在しない場合、顔検出部1302はその旨を制御部1301に通知するので、処理をステップS1401に戻し、制御部1301は撮像部1300を制御して、新たな画像を撮影する。 The determination processing result in step S1403, if in the captured image does not exist face region, the face detection unit 1302 notifies the control unit 1301, the process returns to step S1401, control unit 1301 and the imaging portion 1300 by controlling the, to capture a new image.

一方、顔領域が存在した場合、顔検出部1302はその旨を制御部1301に通知するので、処理をステップS1404に進め、制御部1301は顔検出部1302による中間検出結果情報を中間検出結果保持部1303に保持させると共に、顔検出部1302による顔領域情報を個人判別部1304に入力する。 On the other hand, when the face area exists, is notified to the face detection unit 1302 control unit 1301 to that effect, the process proceeds to step S1404, control unit 1301 intermediate detection result of the intermediate detection result information by the face detection unit 1302 holds causes held in section 1303, and inputs the face-area information by the face detection unit 1302 in the personal determination unit 1304.

ここで顔の数は、前述のように、基準値以上のニューロンの数で求めることが出来る。 Where the number of faces, as described above, can be obtained by the number of the reference value or more neurons. なお神経回路網による顔検出は、顔のサイズ変動や回転変動に対してロバストであり、そのため、画像中の1つの顔に対して、基準値を超えたニューロンが1つになるとは限らない。 Note the face detection by the neural network is robust to size variations and rotation fluctuation of the face, therefore, to one face in the image, neurons exceeds the reference value is not necessarily the one. 一般的には、複数になる。 In general, it becomes plural. そこで、基準値を超えたニューロン間の距離に基づいて基準値を超えたニューロンをまとめることにより、画像中の顔の数を求める。 Accordingly, by assembling the neurons exceeds the reference value based on the distance between exceeds the reference value neurons, determine the number of faces in the image. また、このようにまとめた複数のニューロンの平均位置や重心位置を顔の位置とする。 Further, the average position and the gravity center positions of the plurality of neurons summarized thus the position of the face.

回転量や顔の大きさは以下のように求められる。 The size of the amount of rotation and the face is determined as follows. 前述のように、顔特徴を検出する時の中間処理結果として、目や口の検出結果が得られる。 As described above, the intermediate processing results when detecting the facial feature detection results of the eyes and mouth can be obtained. つまり、第1の実施形態で示した図10に示すように、顔検出結果を用いて、目探索範囲(RE3、RE4)と口探索範囲(RM2)を設定し、目特徴検出結果と口特徴検出結果に対して、その範囲で、目特徴と口特徴を検出することが出来る。 That is, as shown in FIG. 10 described in the first embodiment, using the face detection result, and sets the eye search range (RE3, RE4) and the mouth search range (RM2), the eye feature detection result and mouth feature the detection result, in this range, it is possible to detect eye feature and mouth feature. 具体的には、これらの範囲の、目検出層のニューロン及び口検出層のニューロンで、基準値を超えた複数のニューロンの平均位置または重心位置を目(左右の目)、口の位置とする。 Specifically, these ranges, in neurons of neurons and mouth detection layer of the eye detection layer, eye average position or gravity center position of a plurality of neurons exceeds the reference value (the left and right eyes), the position of the mouth . そして、それら3点の位置関係から顔の大きさや回転量が求められる。 The size and amount of rotation of the face from the positional relationship of these three points is obtained. なお、この顔のサイズや回転量を求める際は目特徴検出結果から両目位置だけを求め、つまり口特徴を使用せずに、両目位置のみから顔のサイズや回転量を求めることも可能である。 Incidentally, obtains only eye position from the eye feature detection results in determining the size and amount of rotation of the face, i.e. without the use of mouth feature, it is also possible only from eye position determining the size and amount of rotation of the face .

そして個人判別部1304は、顔領域情報と中間検出結果保持部1303に保持れている中間検出結果情報とを用いて、撮影画像中の顔領域に含まれる顔が誰のものであるかの判別処理を行う(ステップS1404)。 The individual discrimination unit 1304 using the intermediate detection result information is held in the face-area information and the intermediate detection result holding unit 1303, or the determination face included in the face area in the captured image is Whose processing is carried out (step S1404).

ここで、個人判別部1304が行う判別処理(個人判別処理)について説明する。 Here, personal discrimination unit 1304 performs determination process (personal identification process) will be described. なお、この説明において先ずこの判別処理で使用する特徴ベクトルについて説明し、その後、その特徴ベクトルを用いた識別を行う識別器について説明する。 Note that describes the feature vector to be used in first the judgment processing in this description, then, it is described classifier that performs identification using the feature vector.

背景技術で説明したように、一般的に個人判別処理は、画像中の顔の位置や大きさを検出する顔検出処理とは独立に行われる。 As described in the background art, generally personal identification process is performed independently of the face detection process for detecting the position and size of the face in the image. つまり通常、個人判別処理に使用される特徴ベクトルを求める処理と、顔検出処理とは別個独立のものである。 That typically those a process of determining a feature vector to be used for personal identification process, independently of the face detection process. それに対し、本実施形態では、個人判別処理に使用される特徴ベクトルを、顔検出処理の中間処理結果から得るので、個人判別処理を行う過程で求めるべき特徴量の数が従来よりも少なくてすむので、処理全体がより簡便になる。 In contrast, in the present embodiment, a feature vector to be used for personal identification process, since obtained from the intermediate processing results of the face detection processing, the number of feature quantity to be determined in the course of performing personal identification process is fewer than the prior art since, the entire process is made more convenient.

図15は、個人判別処理で用いる特徴ベクトルについて説明した図である。 Figure 15 is a diagram explaining the feature vectors used in the individual identification process. 図15(a)は個人判別処理に使用される特徴ベクトル1301を示す図、図15(b)は2次特徴の右空きV字特徴検出結果を示す図、図15(c)は左空きV字特徴検出結果を示す図、図15(d)は顔領域を含む撮影画像を示す図である。 FIG. 15 (a) shows a feature vector 1301 that is used in the personal identification process, FIG. 15 (b) shows a right-open V-shaped feature detection result of the secondary characteristics, and FIG. 15 (c) left-open V shows a shaped feature detection result, FIG. 15 (d) is a diagram showing a captured image including a face region.

ここで図15(b)、(c)における点線は、顔における目のエッジを示している。 Here FIG. 15 (b), the dotted line in (c) shows the eye edge in the face. このエッジは、実際の特徴ベクトルではなく、V字特徴検出結果と目の関係をわかりやすくするために示してあるものである。 This edge is to the actual feature vectors rather is shown for clarity of V-shaped feature detection result and eye relationship. また、図15(b)において1502a〜1502dはそれぞれ、2次特徴の右空きV字特徴検出結果における、各特徴におけるニューロンの発火分布領域を示し、黒色が大きな値を、白色が小さな値を示している。 Further, each of the 1502a~1502d In FIG. 15 (b), the right-open V-shaped feature detection result of the secondary features, indicates ignition distribution region of neurons in each feature, black and a large value, white indicates a small value ing. 同様に、図15(c)において1503a〜1503dはそれぞれ、2次特徴の左空きV字特徴検出結果における、各特徴におけるニューロンの発火分布領域を示し、黒色が大きな値を、白色が小さな値を示している。 Similarly, each 1503A~1503d, left-open V-shaped feature detection result of the secondary feature in the FIG. 15 (c), the shown ignition distribution region of neurons in each feature, black a large value, white the smaller value shows.

また、一般的に検出対象の平均的な形状の特徴であれば、ニューロンの出力値は大きな値になり、回転や移動等の変動があれば、出力値は小さな値になるため、図15(b)、(c)に示したニューロンの出力値の分布は、検出対象の存在する座標から周囲に向かって弱くなっている。 Further, if the characteristic of the general average shape of the detection target, the output value of the neuron becomes a large value, if there is variation in the rotation and movement, etc., the output value becomes a small value, FIG. 15 ( b), (the distribution of the output values ​​of the neuron shown in c) is weakened toward the periphery from the coordinates in the presence of the detection target.

図15に模式的に示したように、個人判別処理に使用される特徴ベクトル1501は、中間検出結果保持部1303に保持された中間検出結果の一つである、2次特徴の右空きV字特徴検出結果と左空きV字特徴検出結果とから作成される。 As schematically shown in FIG. 15, a feature vector 1501 that is used in the personal identification process is one of the held in the intermediate detection result holding unit 1303 intermediate detection result, the right-open V-shaped secondary features It is created from the detection result and left-open V-shaped feature detection result and features. また、この特徴ベクトルは、図15(d)に示した顔領域全体1505ではなく両目を含む領域1504を使用している。 Further, the feature vector uses a region 1504 including the eyes rather than the face area total 1505 shown in FIG. 15 (d). より具体的には、両目を含む領域で右空きV字特徴検出層ニューロンの複数の出力値と左空きV字特徴検出層ニューロンの複数、の出力値をそれぞれ配列と考え、同じ座標の出力値を比較して、大きな値を選択するようにして、特徴ベクトルを作成している。 More specifically, thought to SEQ right-open V-shaped feature detection layer more of the plurality of output values ​​and left-open V-shaped feature detection layer neurons of neurons, the output value in the area including the eyes, the output value of the same coordinates compare, to choose a large value, and creating a feature vector.

背景技術で説明したEigenface法では、顔領域全体を、固有顔とよばれる基底で分解し、その係数を個人判別に使用する特徴ベクトルとしていた。 In Eigenface method described in the background art, the entire face area, and degradation in the basal called eigenfaces, it had a feature vector using the coefficients to individual discrimination. つまり、Eigenface法では、顔領域全体の特徴を使用して、個人判別を行っている。 That is, in the Eigenface method, using the features of the entire facial area, and carries out a personal discrimination. しかしながら、個人間で異なる傾向を示す特徴であれば、顔領域全体を使用せずに個人判別を行うことも可能である。 However, if a characteristic showing a different tendency between individuals, it is also possible to perform individual discrimination without the entire facial area. 図15で示した両目を含む領域の、右空きV字特徴検出結果と左空きV字特徴検出結果には、それぞれの目の大きさ、両目間の距離、また眉毛と目の距離といった情報が含まれており、これらの情報から個人判別することが可能である。 Area including the eyes as shown in FIG. 15, the right-open V-shaped feature detection result and left-open V-shaped feature detection result, each eye size, the distance between the eyes, also information such distance eyebrows and eyes included are, it is possible to personalize determine from this information.

また、Eigenface法は、照明条件の変動に弱いという欠点があるが、図15に示した右空きV字特徴検出結果と左空きV字特徴検出結果は、照明条件やサイズ・回転変動にロバストに顔を検出するために学習された受容野を用いて得られており、照明条件やサイズ・回転変動の影響を受けにくく、個人判別を行うための特徴ベクトルの作成に適している。 Further, Eigenface method is the disadvantage that vulnerable to variations in lighting conditions, the right-open V-shaped feature detection result and left-open V-shaped feature detection results shown in FIG. 15, the robustly lighting conditions and size and rotation fluctuation face been obtained by using the learned receptive field to detect, less susceptible to illumination conditions and size and rotation fluctuation, it is suitable for creating a feature vector for performing personal discrimination.

さらに、前述のように右空きV字特徴検出結果と左空きV字特徴検出結果から個人判別を行うための特徴ベクトルを生成するのは非常に簡便な処理である。 Furthermore, it is very convenient process for generating feature vectors for performing personal discrimination from the right-open V-shaped feature detection result and left-open V-shaped feature detection result as described above. このように、顔検出処理の中間で得られる中間処理結果を用いて、個人判別のための特徴ベクトルを生成することは、非常に有用である。 Thus, by using the intermediate process result obtained in the middle of the face detection processing, generating a feature vector for personal discrimination is very useful.

本実施形態では、得られた特徴ベクトルを用いて個人判別を行う為の識別器は特に限定しないが、その一例として最近傍識別器がある。 In the present embodiment, the identifier for performing personal discrimination using the feature vector obtained is not particularly limited, there is a nearest neighbor classifier as an example. 最近傍識別器は、各個人を示すトレーニングベクトルをプロトタイプとして記憶し、入力された特徴ベクトルと最も近いプロトタイプが属するクラスによって対象を識別する手法である。 Nearest neighbor classifier stores training vector indicating each individual as a prototype, the nearest prototypes and the input feature vector is a method for identifying a subject by the class to which it belongs. つまり、前述した手法で各個人の特徴ベクトルをあらかじめ求めて、それを保持しておき、入力画像から求めた特徴ベクトルと、保持しておいた特徴ベクトルとの距離を求め、最も近い距離の特徴ベクトルを示した人を、識別結果とするというものである。 That is, calculated in advance the feature vector of each individual in the manner described above, may be held it obtains a feature vector obtained from the input image, the distance between the feature vector that has been held, the closest feature who showed vector, it is that the identification result.

また別の識別器として、Vapnikらによって提案されたSupport Vector Machine(以降、SVMとする)を使用しても良い。 As another classifier, the proposed Support Vector Machine (hereinafter, referred to as SVM) by Vapnik, et al may be used. このSVMは、トレーニングデータから、マージン最大化という基準で線形しきい素子のパラメータを学習する。 The SVM learns from training data, the parameters of a linear threshold element in the reference of margin maximization.

また、カーネルトリックと呼ばれる非線形変換を組み合わせることで識別性能に優れた識別器となっている( Vapnik, “Statistical Learning Theory”, John Wiley & Sons (1998) )。 Furthermore, and it has a good classifier to identify performance by combining a nonlinear transformation called kernel trick (Vapnik, "Statistical Learning Theory", John Wiley & Sons (1998)). つまり、各個人を示すトレーニングデータから判別のためのパラメータを求め、そのパラメータと入力画像から求めた特徴ベクトルから個人を判別する。 That is, determine the parameters for the discrimination from the training data indicating each individual to determine the individual from the feature vectors obtained from the parameter and the input image. ただし、SVMは基本的に2クラスを識別する識別器を構成するため、複数の人を判別する際は、複数のSVMを組み合わせて判別を行う。 However, SVM is to configure the basic classifier identifies the two classes, when determining a plurality of people, to discriminate a combination of a plurality of SVM.

ステップS1402で行う顔検出処理は前述のように、並列階層処理により画像認識を行う神経回路網を使用している。 Face detection processing performed in step S1402, as described above, using a neural network to perform image recognition by parallel hierarchical process. また各特徴を検出する際に使用する受容野は、大量の顔画像及び非顔画像を用いた学習により獲得される。 The receptive fields for use in detecting each feature is obtained by conducting learning by using a large number of face images and non-face images. つまり、顔検出処理を行う神経回路網では、大量の顔画像中で共通しながら、非顔画像とは共通しない情報を入力画像中から抽出し、その情報を用いて顔・非顔の区別をしていると考えることが出来る。 That is, in the neural network for performing face detection processing, while common in large amounts of the face image, and the non-face image extracted from the input image information that is not common, the distinction between face and non-face using the information and to think you can be.

それに対し、個人判別を行う識別器は、顔画像から個人毎に作成された特徴ベクトルの差を識別するように設計されている。 In contrast, classifier performing personal discrimination is designed to identify the differences in feature vectors created each person from the face image. つまり、各個人ごとに、少しずつ異なった表情や向き等の顔画像を複数用意し、それら顔画像をトレーニングデータとすると、各個人ごとにクラスタが形成され、SVMを用いると、各クラスタを分離する面が高精度に獲得できる。 In other words, for each individual, bit by bit different facial expressions and to prepare a plurality of face images of orientation such as, when they face images and the training data, a cluster is formed for each individual, the use of SVM, separating each cluster surfaces can be acquired with high accuracy.

また、最近傍識別器であれば、十分な数のプロトタイプが与えられると、ベイズ誤り確率の2倍以下の誤り確率を達成できるという理論的根拠があり、個人間の差異を識別することが可能である。 Further, if the nearest neighbor classifier, a sufficient number of prototypes is given, there is rationale that twice following error probability Bayes error probability can be achieved, can identify the differences between individuals it is.

図16は、3つの識別器それぞれにおいて学習時に用いられるデータを表として示した図である。 Figure 16 is a diagram illustrating the data used at the time of learning in each of the three classifiers as a table. すなわち同図の表は、顔検出識別器に(Aさん、Bさんを含む)人の顔の検出を行わせるためのトレーニングを行う際に用いるデータ、Aさん識別器にAさんを識別するためのトレーニングを行う際に用いるデータ、Bさん識別器にBさんを識別するためのトレーニングを行う際に用いるデータを示すもので、あって、顔検出識別器を用いた顔検出の為のトレーニング時では、サンプルに用いる全ての人(Aさん、Bさん、その他の人)の顔の画像から求めた特徴ベクトルを正解データとして用い、顔の画像でない背景画像(非顔画像)を不正解データとして用いる。 That table in the figure is, the face detection classifier (A's, including Mr. B) data used when performing training to carry out the detection of the human face, to identify Mr. A to Mr. A discriminator shows the data used in performing the training data used in performing training to identify Mr. B to B's identifier, there are, at training time for face detection with face detection discriminator So all people used to sample (a's, B's, others) using the feature vectors obtained from the face image as the correct data, the background image is not an image of a face (the non-face image) as the wrong answer data used.

一方、Aさん識別器を用いたAさんの識別の為のトレーニング時ではAさんの顔画像から求めた特徴ベクトルを正解データとして用い、Aさん以外の人(同図では「Bさん」、「その他」)の顔画像から求めた特徴ベクトルを不正解データとして用いる。 On the other hand, it is a time of training for the identification of the A's with Mr. A classifier using the feature vector obtained from the A's face image as the correct data, in the person (the figure other than A's "B", " the feature vectors obtained from the face image of the other. ") is used as the incorrect data. また、背景画像についてはトレーニング時には用いない。 In addition, not used at the time of training for the background image.

同様に、Bさん識別器を用いたBさんの識別の為のトレーニング時ではBさんの顔画像から求めた特徴ベクトルを正解データとして用い、Bさん以外の人(同図では「Aさん」、「その他」)の顔画像から求めた特徴ベクトルを不正解データとして用いる。 Similarly, using the feature vector obtained from B's face image at the time of training for the B's identification using the B's identifier as the correct data, in the person (the figure other than B's "Mr. A", using the feature vector obtained from the face image of the "other") as incorrect data. また、背景画像についてはトレーニング時には用いない。 In addition, not used at the time of training for the background image.

従って、3次特徴である目を検出する際に使用する2次特徴検出結果と、前述の個人判別に使用する2次特徴検出結果は一部共通するが、上述のように、顔検出時に目特徴を検出するための識別器(神経回路網)と個人判別を行う識別器は、識別器の種類の違い(すなわち、第1の実施形態で示した神経回路網とSVMや最近傍識別器との違い)だけではなく、トレーニングに使用されるデータの組が異なるため、共通する検出結果を使用してもそこから抽出される、識別に使用する情報が結果的に異なることになり、前者は目を検出し、後者は個人を判別することが出来る。 Thus, a secondary feature detection result for use in detecting the eye is a tertiary feature, but a common part secondary feature detection result to be used for personal discrimination described above, as described above, the eye during face detection discriminator for detecting characteristics (neural network) and the classifier performing personal discrimination, and the type of difference in the classifier (i.e., neural network and SVM or nearest neighbor classifier shown in the first embodiment rather than differences in) only, since the set of data used for training different, are extracted therefrom be used detection results common, information used to identify becomes consequently different from the former to detect the eyes, the latter is able to determine the individual.

なお、特徴ベクトルを作成する際に、顔検出部1302で得られた顔のサイズや向きが所定の範囲に入っていない場合は、中間検出結果保持部1303に保持されている中間処理結果に対して、回転補正やサイズ正規化を行うことも可能である。 Note that when creating a feature vector, if the size and orientation of the face obtained by the face detection unit 1302 is not in the predetermined range, the intermediate processing result held in the intermediate detection result holding unit 1303 to Te, it is possible to perform the rotation correction and size normalization. 個人判別の識別器は、個人の細かな差異を識別するように設計されているため、サイズや回転を統一する方が、精度が向上する傾向がある。 Personal discrimination classifier, because it is designed to identify the fine differences of individuals, is better to unify the size and rotation tends to improve the accuracy. 回転補正及びサイズ正規化は、中間検出結果保持部1303に保持されている中間処理結果を、個人判別部1304に入力するために、中間検出結果保持部1303から読み出すときに、行うことが出来る。 Rotation correction and size normalization, the intermediate processing results held in the intermediate detection result holding unit 1303, in order to input to the personal judgment section 1304, when reading from the intermediate detection result holding unit 1303, can be performed.

以上の処理によって、顔の個人判別ができたので、個人判別部1304は、判定した個人に応じたコード(各個人に個別のコード)が、予め設定されたある個人に対応するコードに一致しているか否かを判断する(ステップS1405)。 The above process, since the possible individual determination of the face, personal discrimination unit 1304, the code corresponding to the determined individual (individual code to each person) can match the code corresponding to an individual that has been set in advance and judges whether or not have (step S1405). このコードは例えば番号であっても良いし、その表現方法は特に限定されるものではない。 It This code may be, for example, numbers, the expression method is not particularly limited. この判定結果は制御部1301に通知する。 This determination result is notified to the control unit 1301.

ここで、ステップS1404までの処理により判定した個人が、予め設定された特定の個人と同じであった場合、例えば本実施形態の場合には、個人判別部1304が出力した「個人を示すコード」と、予め設定された特定の個人を示すコードとが一致した場合、制御部1301は画像保持部1305が保持している撮影画像を記録部1307に記録する。 Here, individuals determined by the processing up to step S1404 is the case were the same as the specific person who is set in advance, for example in the case of this embodiment, the personal determination unit 1304 has output "code indicating the individual" If, when the code indicating the specific individual which is set in advance match, the control unit 1301 records the photographed image by the image holding unit 1305 holds the recording unit 1307. また、記録部1307がDVD−RAMやコンパクトフラッシュ(登録商標)である場合には、制御部1301は記録部1307を制御してDVD−RAMやコンパクトフラッシュ(登録商標)等の記憶媒体に撮影画像を記録する(ステップS1406)。 Further, when the recording unit 1307 is DVD-RAM and Compact Flash (registered trademark) is photographed image controller 1301 in a storage medium such as a DVD-RAM, compact flash by controlling the recording section 1307 (registered trademark) the record (step S1406). また、記録する画像を、顔領域の画像としても良い。 Further, an image to be recorded may be an image of the face area.

一方、ステップS1404までの処理により判定した個人が、予め設定された特定の個人と同じではなかった場合、例えば本実施形態の場合には、個人判別部1304が出力した「個人を示すコード」と、予め設定された特定の個人を示すコードとが一致しなかった場合、制御部1301は撮像部1300を制御し、新たな画像を撮影させる。 Meanwhile, individuals determined by the processing up to step S1404 is the case was not the same as the specific person who is set in advance, for example in the case of this embodiment, an individual determination unit 1304 has output "code indicating the individual" , when the code indicating the specific individual which is set in advance do not match, the control unit 1301 controls the image pickup unit 1300, it is photographed a new image.

なお、判定された個人が特定の表情であった場合にはその他にも、例えばステップS1406で、制御部1301が撮像部1300を制御して次の画像を撮影させつつ、撮影した画像を記録部1307に保持させるようにしても良い。 The other even when the determined individual was specific expression, for example, in step S1406, the control unit 1301 controls the image pickup unit 1300 while shooting the next image recording unit recorded images it may be to be held in 1307. また、制御部1301は表示部1306を制御して、撮影した画像を表示部1306に表示しても良い。 The control unit 1301 controls the display unit 1306 may display the photographed image on the display unit 1306.

また、ステップS202で検出された顔領域が綺麗に撮像されるように、制御部1301が撮影部1300の撮影パラメータ(露出補正、自動焦点、色補正等、撮像系の撮像パラメータ)を設定し、再撮影を行ない、表示、記録するように動作させることも可能である。 Also, as the face area detected in step S202 is cleanly captured control unit 1301 sets the camera parameters of the camera unit 1300 (exposure correction, automatic focus, color correction and the like, the imaging parameters of the imaging system), performs recaptured, display, it is possible to operate to record.

上記説明したように、階層的に検出した局所特徴から最終的な検出対象を検出するアルゴリズムに基づいて、画像中の顔を検出すると、検出した顔領域に基づいて、露出補正や自動焦点、及び色補正等の処理が行なえるだけではなく、その顔検出処理の途中で得られる中間特徴検出結果である、目の候補の検出結果、及び口の候補の検出結果を用いて、個人の判別が、目や口を検出するための新たな検出処理を行うことなく可能になり、処理コストの増加を抑えつつ個人を検出し撮影することが出来るという効果がある。 As explained above, based on the algorithm for detecting the final detection target from the hierarchically detected local features, it detects a face in the image, based on the detected face area, exposure compensation, auto-focus, and rather than processing such as color correction only performed, its a middle intermediate feature detection results obtained in the face detection processing, the detection result of the eye candidate, and using the detection result of the mouth of the candidate, personal discrimination , becomes possible without performing a new detection process for detecting eyes and mouth, there is an effect that it is possible to detect the individual while suppressing an increase in processing cost imaging. また、顔の位置やサイズなどの変動に強い個人認識が可能になる。 In addition, it is possible to strong individual recognition to the change of the position and size of the face.

また、本実施形態に係る画像処理装置は図11に示す構成を備えるコンピュータとしても良い。 The image processing apparatus according to the present embodiment may be a computer having the configuration shown in FIG. 11. また、図12に示す撮像装置における画像処理装置5111に適用しても良く、その場合、個人の判別結果に応じた撮影を行うことが可能となる。 Also, it may be applied to an image processing apparatus 5111 in the image pickup apparatus shown in FIG. 12, in which case, it is possible to perform the imaging in accordance with the individual discrimination result.

[第5の実施形態] [Fifth Embodiment]
本実施形態に係る画像処理装置は、同じ1つの画像に対して上記実施形態で説明した顔領域検出処理、第1乃至3の実施形態で説明した表情判別処理、第4の実施形態で説明した個人判別処理を行う。 The image processing apparatus according to the present embodiment, the face area detecting process described in the above embodiment with respect to the same single image, the facial expression determination processing described in the first to third embodiments, described in the fourth embodiment perform personal determination process.

図17は、本実施形態に係る画像処理装置の機能構成を示す図である。 Figure 17 is a diagram showing the functional arrangement of an image processing apparatus according to this embodiment. 基本的には第1の実施形態に係る画像処理装置の構成に、第4の実施形態に係る画像処理装置の構成、及び統合部1708を加えたものとなっている。 Are fundamentally the ones in the configuration of an image processing apparatus according to the first embodiment, the configuration of an image processing apparatus, and integrating unit 1708 in addition according to the fourth embodiment. 統合部1708を除く各部については上記実施形態において同じ名前の部分と同じ動作を行う。 For each section except the integrating unit 1708 performs the same operation as part of the same name in the above embodiment. すなわち、撮像部1700からの画像は顔検出部1702、画像保持部1705、記録部1707、表示部1706に出力される。 That is, the image from the imaging unit 1700 face detection unit 1702, the image holding unit 1705, a recording unit 1707, is output to the display unit 1706. 顔検出部1702は、上記実施形態と同様の顔領域検出処理を行い、検出処理結果を上記実施形態と同様に、表情検出部1704、個人判別部1714に出力する。 The face detection unit 1702 performs the same face region detection processing in the above embodiment, the detection processing result as in the above embodiments, and outputs facial expression detector 1704, the personal determination unit 1714. また、その処理の途中で得られる中間検出結果を中間検出結果保持部1703に出力する。 Further, it outputs an intermediate detection results obtained in the course of the process in the intermediate detection result holding unit 1703. 表情検出部1704は、第1の実施形態における表情検出部104と同様の処理を行う。 Facial expression detector 1704 performs the same processing as facial expression detector 104 in the first embodiment. 個人判別部1714は、第4の実施形態における個人判別部1304と同様の処理を行う。 Personal discrimination unit 1714 performs the same processing as the personal determination unit 1304 in the fourth embodiment.

統合部1708は、顔検出部1702、表情検出部1704、個人判別部1714それぞれの処理結果のデータを受け、これを用いて、顔検出部1702が検出した顔が、ある特定の個人の顔であるか否か、そして特定の個人の顔である場合にはこの特定の顔がある特定の表情であるか否かの判断処理を行う。 Integrating unit 1708, a face detecting section 1702, the facial expression detector 1704 receives the data of personal discrimination portion 1714 of each processing result, using this face the face detecting section 1702 detects that, in certain individuals of the face whether, and if a specific person's face performs the determination process of whether a particular expression with this particular face. つまり、ある特定の個人が特定の表情であるかを判別する。 That is, a particular individual to determine whether a particular expression.

次に、上記各部の動作によって実行される、撮影画像中の顔が誰のもので、且つどのような表情であるのかを判別する為のメインの処理について、同処理のフローチャートを示す図18を用いて説明する。 Next, it is performed by the operations of the respective units, those of the face in the captured image whom, and the main processing for determining what look at is whether, Figure 18 shows a flowchart of that process used will be described.

ステップS1801からステップS1803の各ステップにおける処理は、それぞれ図14のステップS1401からステップS1403の各ステップにおける処理と同じであるので説明は省略する。 Processes in the respective steps from the step S1801 Step S1803, the description is the same from step S1401, respectively, in FIG 14 the processing in each step of step S1403 is omitted. すなわち、ステップS1801からステップS1803までの処理で、制御部1701と顔検出部1702とにより、撮像部1700からの画像に顔領域が存在するか否かを判断する。 That is, the processing from step S1801 to step S1803, the control unit 1701 and the face detection unit 1702 determines whether the image face exists region from the imaging unit 1700.

存在する場合には処理をステップS1804に進め、図2のステップS204における処理と同じ処理を行うことで、表情検出部1704は、検出した顔領域中の顔の表情を判別する。 When present, the flow advances to step S1804, by performing the same processing as the processing in step S204 in FIG. 2, the facial expression detection unit 1704 determines the facial expression of the face in the detected face area.

次にステップS1805では、図14のステップS1404における処理と同じ処理を行うことで、個人判別部1714は、検出した顔領域中の顔の個人判別を行う。 In step S1805, by performing the same processing as the processing in step S1404 in FIG. 14, the personal judgment unit 1714 performs personal discrimination of a face in the detected face area.

なお、ステップS1804,ステップS1805の各ステップにおける処理は、ステップS1802で検出した各顔毎に行う処理である。 Incidentally, step S1804, the processing in each step of step S1805 is a process performed for each face detected in step S1802.

次に、ステップS1806では、統合部1708が、表情検出部1704から出力される「判定した表情に応じたコード」と、個人判別部1714から出力される「判定した個人に応じたコード」とを、各顔毎に管理する。 Next, in step S1806, integration unit 1708, a "code corresponding to the determined expression" output from the facial expression detector 1704, and a "code corresponding to the determined individual" outputted from the personal determination unit 1714 , to manage for each face.

図19は、この管理したデータの構成例を示す図である。 Figure 19 is a diagram illustrating a configuration example of the management data. 上述の通り、表情検出部1704、個人判別部1714は共に、顔検出部1702が検出した各顔毎に表情判別、個人判別を行う。 As described above, the facial expression detection unit 1704, personal discrimination unit 1714 together expression determined for each face the face detection unit 1702 detects, personal discrimination performed. 従って、統合部1708は、各顔毎に固有のID(同図では数字1,2,、)に関連付けて、「判定した表情に応じたコード」と、「判定した個人に応じたコード」とを管理する。 Therefore, integrating unit 1708, for each face in association with (figures 1, 2 ,, in the drawing) unique ID, a "code corresponding to the determined facial expression", and "code corresponding to the determined individual" to manage. 例えば、「判定した表情に応じたコード」として「笑顔」というコードと、「判定した個人に応じたコード」として「A」というコードは、IDが1の顔に対するものであるので、これらのコードを1のIDに関連付けて管理する。 For example, a code of "smile" as the "code corresponding to the determined facial expression", code of "A" as a "code corresponding to the determined individual", since ID is for the first face, these codes the managed in association with the first ID. これはIDが2の場合についても同様である。 This also applies if the ID is 2. このようにして統合部1708は各コードを管理するためのテーブルデータ(例えば図19に示す構成を有する)を生成し、保持する。 Such integration unit 1708 in the generates table data for managing each code (e.g., having the structure shown in FIG. 19), holds.

そしてその後、統合部1708はステップS1806で、特定の個人が、ある特定の表情であるか否かをこのテーブルデータを参照することで、判断する。 And then integrating unit 1708 in step S1806, a particular individual, whether it is a specific facial expression by referring to this table data to determine. 例えば、Aさんが笑っているのか否かを図19のテーブルデータを用いて判断するとすると、図19のテーブルデータではAさんは笑顔であるので、Aさんは笑っていると判断する。 For example, when whether the person A is laughing determines using the table data in Fig. 19, A's in the table data in Fig. 19 because it is a smile, it is determined that the A's are smiling.

このようにして判断した結果、特定の個人が、ある特定の表情である場合には統合部1708はその旨を制御部1701に通知するので、処理をステップS1807に進め、図14のステップS1406と同じ処理を行う。 Thus result of the determination, certain individuals, since notifies the integration unit 1708 if it is a specific facial expression control unit 1701 advances the process to step S1807, and step S1406 of FIG. 14 It performs the same processing.

尚本実施形態では顔検出処理と表情判別処理とを連続して行ったが、第2,3の実施形態で説明した方法を用いても良い。 Note in the present embodiment was continuously performed the face detection process and the facial expression determination process, method may be used as described in the second and third embodiments. その場合、全体の処理時間を短縮することができる。 In that case, it is possible to shorten the overall processing time.

以上の説明によって本実施形態によれば、画像から顔を検出し、個人を特定し、その表情を特定することで、多人数の中から所望の個人の所望の表情の写真を撮影すること、例えば、複数の子供の中から自分の子供の笑顔の瞬間を撮影することが可能となる。 According to the present embodiment by the foregoing description, detecting a face from an image, to identify an individual, by identifying the expression, to take pictures of desired expression of the desired person from the multiplayer, for example, it is possible to take a moment of your child's smiling face from among a plurality of children.

つまり、第1の実施形態で説明した撮像装置の画像処理装置に本実施形態に係る画像処理装置を適用すれば、個人判別処理、表情判別処理の両方を行うことができ、その結果、特定の個人が特定の表情をしたときの撮影を行うことが可能となる。 In other words, by applying the image processing apparatus according to the present embodiment to the image processing apparatus of the imaging apparatus described in the first embodiment, the personal identification process can be performed both expression determination process, as a result, certain individuals it is possible to carry out the shooting when the specific expression. さらに、特定の個人、表情を認識することで、人間と機械のインターフェースとしても使用することが出来る。 Moreover, certain individuals, by recognizing the facial expression, can also be used as a man-machine interface.

[第6の実施形態] Sixth Embodiment
本実施形態では、第5の実施形態で説明した表情判別処理と個人判別処理とを、シーケンシャルに行う。 In the present embodiment, the facial expression determination process and personal identification process described in the fifth embodiment is performed sequentially. これにより、より高精度に特定の個人の特定の表情を判別することができる。 This makes it possible to determine the specific expression of certain individuals with higher accuracy.

図20は、本実施形態に係る画像処理装置の機能構成を示す図である。 Figure 20 is a diagram showing the functional arrangement of an image processing apparatus according to this embodiment. 同図に示した構成は、図18に示した第5の実施形態に係る画像処理装置の構成に対して、ほぼ同じであるが、個人判別部2014と表情判別部2004とが接続されている点、統合部1708の代わりに表情判別データ保持部2008が用いられている点が異なる。 Configuration shown in the figure, the configuration of an image processing apparatus according to the fifth embodiment shown in FIG. 18 is substantially the same, and personal judgment unit 2014 and the expression determination unit 2004 is connected point, that the expression determination data holding section 2008 in place of the integration unit 1708 is used is different.

図21は本実施形態に係る画像処理装置が行うメインの処理のフローチャートである。 Figure 21 is a flowchart of main processing performed by the image processing apparatus according to the present embodiment. 以下同図を用いて、本実施形態に係る画像処理装置が行う処理について説明する。 Below with reference to the figure, the image processing apparatus processing will be described which performs according to the present embodiment.

ステップS2101からステップS2103の各ステップにおける処理は、図18のステップS1801からステップS1803の各ステップにおける処理と同じであるので、その説明は省略する。 Processing in each step of step S2103 from step S2101, are the same as the processing in each step of step S1803 from step S1801 in FIG. 18, a description thereof will be omitted.

ステップS2104では、個人判別部2014がステップS1804と同様の処理を行うことで、個人判別処理を行う。 In step S2104, the personal determination unit 2014 by performing the same process as in step S1804, it performs personal identification process. なお、ステップS2104における処理は、ステップS1802で検出した各顔毎に行う処理である。 Note that the processing in step S2104 is a process performed for each face detected in step S1802. 次にステップS2105では、個人判別部2014は、ステップS2104で判別した顔がある特定の顔であるか否かを判断する。 In step S2105, the personal determination unit 2014 determines whether a particular face that is a face that is determined in step S2104. これは例えば、第5の実施形態で説明したように、管理情報(この場合、各顔固有のIDと、個人を示すコードとを関連付けるテーブル)を参照することで成されるものである。 This example, as described in the fifth embodiment, the management information (in this case, and each face a unique ID, a table correlating the code indicating the individual) are those made by referring to.

そしてある特定の顔を示すコードと、判別した顔を示すコードとが一致する場合、すなわち、ステップS2104で判別した顔がある特定の顔である場合には個人判別部2014はその旨を表情検出部2004に通知し、そして処理をステップS2106に進め、表情判別処理2004は第1の実施形態と同様にして表情判別処理を行うのであるが、本実施形態では、表情検出部2004は表情判別処理を行う際には、表情判別データ保持部2008に保持されている「各個人に対応した表情判別データ」を用いる。 And a code that indicates a particular face, when the code indicating the discriminated face matches, i.e., personal discrimination unit 2014 expression detection to that effect in the case of a specific face is a face that is determined in step S2104 part notify the 2004, and the process advances to step S2106, and it is the expression determination process 2004 is performed to expression determination process as in the first embodiment, in the present embodiment, the facial expression detection unit 2004 expression determination process when performing the uses "expression discrimination data corresponding to each individual" held in the expression determination data retaining section 2008.

図22は、この表情判別データの構成例を示す図である。 Figure 22 is a diagram showing a configuration example of a facial expression determination data. 同図に示す如く、各個人毎に表情判別の為のパラメータをあらかじめ用意しておく。 As shown in the figure, prepared in advance of the parameters for the facial expression determined in each individual each. ここでパラメータとは、第1の実施形態で説明した「目の端点と口の端点の距離」「口の横幅の長さ」「目の横幅の長さ」のほかに、「頬の部分の影」や「目の下の影」等である。 Here parameters, in addition to the description of "the length of the width of the mouth", "eyes distance endpoint of the endpoints and mouth", "length of the horizontal width of the eye" in the first embodiment, "the portion of the cheek it is a shadow "and" shadow under the eye "and the like. 基本的には、第1の実施形態で説明したように、無表情の画像データから作成した参照データとの差分により、個人に依存しない表情認識は行えるが、個人に依存した特異な変化を検出することでより高精度の表情判別が行える。 Basically, as described in the first embodiment, the difference between the reference data created from expressionless image data, perform facial expression recognition that does not depend on individual, but detects a specific change depending on individual perform highly accurate expression discrimination than by.

例えば、ある特定の人物では、笑顔の時に、口が大きく横に伸びたり、頬の部分に影が出たり、目の下に影が出来るとすると、その人物に対する表情判別では、上記の特異な変化を使用することで、より精度の高い表情判別が可能になる。 For example, in one specific person, when smile, or it extends laterally larger mouth, and out shadows the part of the cheek, when it is shadows under the eyes, the expression determined for the person, a specific change in the the use, thereby enabling more accurate facial expression determination.

従って表情検出部2004は、個人判別部2004が判別した顔を示すコードを受け、このコードに応じた表情判別のためのパラメータを表情判別データ保持部2008から読み出す。 Therefore facial expression detector 2004 receives the code indicating the personal determination unit 2004 has determined the face, reading out parameters for expression determined in accordance with the code from the facial expression determination data retaining section 2008. 例えばこの表情判別データが図22に示す如く構成を有する場合、個人判別部2004が画像中のある顔をAさんのものであると判別し、Aさんを示すコードを表情検出部2004に出力すれば、表情検出部2004は、表情判別データ保持部2008から、Aさんに対応するパラメータ(目口間距離の変動率>1.1,頬領域エッジ密度3.0、、、を示すパラメータ)を読み出し、これを用いて表情判別処理を行う。 For example, when the facial expression determination data has a configuration as shown in FIG. 22, the personal determination unit 2004 determines the face of the image to be of Mr. A, to output a code indicating the person A to the facial expression detector 2004 if, facial expression detection unit 2004, the facial expression determination data holding section 2008, the parameter corresponding to Mr. a (the eye opening distance between volatility> 1.1, parameter indicating the cheek region edge density 3.0 ,,,) read, of facial expression determination process using the same.

これにより表情検出部2004は、第1の実施形態で説明した処理を行うことで求めた目口間距離の変動率、頬領域エッジ密度等がこのパラメータが示す範囲に入っているのか否かをチェックすることで、更に高精度に表情判別を行うことができる。 Thus expression detection unit 2004, the variation rate of the eye opening distance determined by performing the processing described in the first embodiment, the cheek region edge density and the like whether or not are in the range indicated by the parameter by checking, it is possible to look discriminated with higher accuracy.

図21に戻って、次に、表情検出部2004は、ステップS2106で判別した表情が、予め設定された特定の表情であるのか否かを判断する。 Returning to FIG. 21, then, the facial expression detection unit 2004, the expression was determined in step S2106 it is determined whether it is a specific facial expression which is set in advance. これは、ステップS2106で判別した表情を示すコードと、予め設定された特定の表情を示すコードとが一致しているか否かを判別することで成されるものである。 This is what is done by determining the code indicating the facial expression is determined in step S2106, whether or not the code indicating the specific expression which is set in advance match.

そして一致している場合には処理をステップS2108に進め、その旨を制御部1701に通知し、図14のステップS1406と同じ処理を行う。 And if they match, the flow advances to step S2108, and notifies the control unit 1701 performs the same processing as step S1406 in FIG. 14.

このように、各個人を特定してから、個人に合わせた表情認識を行うため、表情認識の精度が向上するという効果がある。 Thus, after identifying each individual, because of facial expression recognition tailored to individuals, the effect of improving the accuracy of facial expression recognition. また、画像から顔を検出し、個人を特定し、その表情を特定することで、多人数の中から所望の個人の所望の表情の写真を撮影すること、例えば、複数の子供の中から自分の子供の笑顔の瞬間を撮影することが可能となる。 Myself also, detects a face from the image, to identify the individual, by identifying the expression, to shoot a photo of the desired expression of the desired individual from among the large number of people, for example, from among a plurality of children it is possible to shooting the moment of the child's smile. さらに、特定の個人、表情を認識することで、人間と機械のインターフェースとしても使用することが出来る。 Moreover, certain individuals, by recognizing the facial expression, can also be used as a man-machine interface.

また上記実施形態で「ある特定の個人」や「ある特定の表情」は所定の操作部を介して適宜ユーザが設定することも可能である。 The "certain individuals" and "a particular expression" in the above embodiment can be set as appropriate user via a predetermined operation unit. よって適宜設定するとそれに応じて当然、それらを示すコードもまた変更される。 Accordingly course accordingly be appropriately set, code indicating their are also changed.

また上記実施形態では、被写体を顔としたが、これに限らず、乗り物や建物などであってもよい。 In the above embodiment, the face of the subject is not limited thereto but may be a vehicle or a building.

[その他の実施形態] Other Embodiments
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。 An object of the present invention, a recording medium which records a program code of software for realizing the functions of the above (or storage medium), and is supplied to a system or an apparatus, a computer of the system or apparatus (or CPU or MPU) There may read and execute the program code stored in the recording medium, it is needless to say that is achieved. この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。 In this case, the program code itself read from the recording medium realizes the functions of the embodiments and the recording medium which records the program code constitutes the present invention.

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the read program by computer, as well as functions of the above embodiments are realized on the basis of the instructions of the program code, such as an operating system (OS) running on the computer It performs a part or entire process but also to a case where the functions of the above-described embodiments are realized by those processes.

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program code read from the recording medium is written in a memory of a function expansion unit connected to the function expansion card inserted into the computer or on the basis of the instructions of the program code, the function expansion a card or function expansion unit CPU performs part or all of the actual processing so that the program codes and the functions of the above embodiments are realized by those processes.

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。 When the present invention is applied to the recording medium, the recording medium, the program code corresponding to the flowcharts described above is stored.

本発明の第1の実施形態に係る画像処理装置の機能構成を示す図である。 Is a diagram showing the functional arrangement of an image processing apparatus according to a first embodiment of the present invention. 撮影画像中の顔の表情を判別する為のメインの処理のフローチャートである。 It is a flowchart of a main process for determining the expression of the face in the captured image. 本発明の第2の実施形態に係る画像処理装置の機能構成を示す図である。 Is a diagram showing the functional arrangement of an image processing apparatus according to a second embodiment of the present invention. 図3に示す構成の動作を示すタイミングチャートである。 Is a timing chart showing the operation of the configuration shown in FIG. 本発明の第3の実施形態に係る画像処理装置の機能構成を示す図である。 Is a diagram showing the functional arrangement of an image processing apparatus according to a third embodiment of the present invention. 図5に示す構成の動作を示すタイミングチャートである。 Is a timing chart showing the operation of the configuration shown in FIG. 撮影画像における局所特徴を検出し、顔領域を特定するための一連の処理を示す図である。 Detecting a local feature in the captured image is a diagram illustrating a series of processes for specifying a face area. 画像認識を行うための神経回路網の構成を示す図である。 It is a diagram showing a configuration of a neural network for image recognition. 各特徴点を示す図である。 Is a diagram showing feature points. 図9に示した顔領域において一次特徴と三次特徴とを用いた特徴点を求める処理を説明するための図である。 It is a diagram for explaining a process for obtaining the feature points using a primary features and tertiary features in the face region shown in FIG. 本発明の第1の実施形態に係る画像処理装置の基本構成を示す図である。 Is a block diagram showing the basic arrangement of an image processing apparatus according to a first embodiment of the present invention. 本発明の第1の実施形態に係る画像処理装置を撮像装置に用いた例の構成を示す図である。 The image processing apparatus according to a first embodiment of the present invention is a diagram showing an example of a configuration of an image capturing device. 本発明の第4の実施形態に係る画像処理装置の機能構成を示す図である。 Is a diagram showing the functional arrangement of an image processing apparatus according to a fourth embodiment of the present invention. 撮影画像中の顔が誰のものであるかを判別する為のメインの処理のフローチャートである。 It is a flowchart of a main process for determining whether the face in the captured image is Whose. 個人判別処理で用いる特徴ベクトルについて説明した図である。 Is a diagram explaining the feature vectors used in the individual identification process. 3つの識別器それぞれにおいて学習時に用いられるデータを表として示した図である。 In each of the three classifiers data used at the time of learning is a diagram showing a table. 本発明の第5の実施形態に係る画像処理装置の機能構成を示す図である。 Is a diagram showing the functional arrangement of an image processing apparatus according to a fifth embodiment of the present invention. 撮影画像中の顔が誰のもので、且つどのような表情であるのかを判別する為のメインの処理のフローチャートである。 But face in the captured image whose is a flowchart of main processing for and to determine what expression a is how. 統合部1708が管理しているデータの構成例を示す図である。 Is a diagram illustrating a configuration example of a data integration unit 1708 manages. 本発明の第6の実施形態に係る画像処理装置の機能構成を示す図である。 Is a diagram showing the functional arrangement of an image processing apparatus according to a sixth embodiment of the present invention. 本発明の第6の実施形態に係る画像処理装置が行うメインの処理のフローチャートである。 It is a flowchart of main processing performed by the image processing apparatus according to a sixth embodiment of the present invention. 表情判別データの構成例を示す図である。 It is a diagram illustrating a configuration example of a facial expression determination data.

Claims (15)

  1. 顔を含む画像を入力する入力手段と、 Input means for inputting an image including a face,
    前記入力手段が入力した画像からエッジを表す複数の局所特徴を検出し、当該検出した複数の局所特徴の組み合わせより顔の特徴を検出して、前記画像中の該顔の領域を特定する顔領域特定手段と、 Detecting a plurality of local features representing edges from the image by the input means is inputted, and detects the facial features of a combination of a plurality of local features that the detected face area to identify the areas of said pigment in said image and specific means,
    前記顔領域特定手段により検出された前記顔の領域中の夫々の前記局所特徴の相対位置と、予め基準として設定した顔画像に対する夫々の前記局所特徴の相対位置との差、を用いて前記顔の属するカテゴリを判別する判別手段と を備えることを特徴とする画像処理装置。 The relative position of the local feature of each of the region of the face detected by the face region identifying means, the difference between the relative position of the local feature of each against a face image set in advance as a reference, the face with the image processing apparatus comprising: a discriminating means for discriminating belongs categories.
  2. 前記顔領域特定手段は階層型ニューラルネットワークを含み、前記判別手段は当該階層型ニューラルネットワークの中間層出力を前記局所特徴の検出結果として用いることを特徴とする請求項1に記載の画像処理装置。 The face region identifying means comprises a hierarchical neural network, said discrimination means image processing apparatus according to claim 1 which comprises using an intermediate layer outputs of the hierarchical neural network as a detection result of the local feature.
  3. 前記顔のカテゴリは顔の表情であることを特徴とする請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1 category of the face, which is a facial expression.
  4. 前記顔領域特定手段は、前記入力手段が入力した画像において第1の局所特徴群を検出し、更に、各第2の局所特徴が、当該第1の局所特徴群の中の特定の位置関係にある特定の複数種類の第1の局所特徴を組み合わせることで得られる第2の局所特徴群を前記画像から求める処理を繰り返し行うことで、第nの局所特徴群(n≧2)までを求め、 The face region identifying means detects the first local characteristic group in the image by the input means is input, further, the second local features, the specific positional relationship among the first local feature group there the second local feature groups obtained by combining the first local feature of a particular plurality of types by repeating the process for obtaining from the image, obtains up local feature group of the n (n ≧ 2),
    前記判別手段は、前記顔領域特定手段が特定した顔の領域中で、前記第1の局所特徴群から第nの局所特徴群までの何れかの局所特徴群の夫々の相対位置と、当該夫々の局所特徴の予め基準として求めた相対位置との差を用いて、前記顔の表情を判別することを特徴とする請求項3に記載の画像処理装置。 Said discriminating means, in the region of the face region identifying means has identified face, wherein the one of the relative position of each of the local feature groups to local features group of the n from a first local feature groups, the respective using the difference between the relative position determined in advance as a reference for local features, the image processing apparatus according to claim 3, characterized in that to determine the expression of the face.
  5. 前記判別手段は、前記顔の領域中の夫々の前記局所特徴の相対位置と、前記顔の領域中の夫々の前記局所特徴について予め基準として求めた相対位置と、のずれに応じた分布が、予め求められている夫々の表情に応じた分布の何れと最も類似度が高いかを計算し、最も類似度の高い分布が示す表情と判定することを特徴とする請求項3に記載の画像処理装置。 Said determining means, the relative position of the local feature of each of the region of the face, and the relative position obtained in advance as a reference for the local characteristics of each in the region of the face, the distribution in accordance with the displacement of, the image processing according to claim 3, either with or the highest similarity distribution was calculated according to the expression of each being determined in advance, and judging a facial expression represented by the highest similarity distribution apparatus.
  6. 前記入力手段は、前記顔領域特定手段が顔の領域を特定する処理を完了した時点で次の画像を入力する処理を連続して行うことで、連続して画像を入力する処理を行い、 Said input means, said face area processing of inputting the next image by performing successively at the time the specifying means has completed the process of identifying the areas of the face, a process of inputting an image in succession,
    前記判別手段は、前記入力手段が画像を入力した時点で、その前段で前記入力手段が入力した画像を用いて前記顔領域特定手段が特定した顔の領域中の夫々の前記局所特徴の相対位置と、前記顔の領域中の夫々の前記局所特徴について予め基準として求めた相対位置と、のずれに基づいて前記顔の表情を判別する処理を行うことを特徴とする請求項3に記載の画像処理装置。 Said determining means, when said input means inputs an image, the relative position of the local feature of each in the region of the face identified said facial region identifying means using the image in which the input means inputs at the preceding stage When an image according to claim 3, characterized in that the process for determining the relative position obtained in advance as a reference, the deviation expression of the face based on for the local characteristics of each in the region of the face processing apparatus.
  7. 前記判別手段は前記顔のカテゴリとして誰の顔であるかを判別することを特徴とする請求項1に記載の画像処理装置。 It said discriminating means is an image processing apparatus according to claim 1, characterized in that to determine who is the face as a category of the face.
  8. 顔を含むフレーム画像を連続して入力する入力手段と、 Input means for inputting continuous frame images including a face,
    前記入力手段が入力したフレーム画像からエッジを表す複数の局所特徴を検出し、当該検出した複数の局所特徴の組み合わせより顔の特徴を検出して、前記フレーム画像中の顔の領域を特定する顔領域特定手段と、 Detecting a plurality of local features representing edges from frame images wherein input means is inputted, and detects the facial features of a combination of a plurality of local features that the detected, identifying a region of a face in the frame image face a region specifying unit,
    前記入力手段が入力した第1のフレームの画像において前記顔領域特定手段が特定した顔の領域と位置的に対応する、前記第1のフレームよりも後のフレームである第2のフレームの画像における領域において、前記顔領域特定手段が検出した夫々の前記局所特徴の相対位置と、予め基準として設定した顔画像に対する夫々の前記局所特徴の相対位置と、の差に基づいて前記顔の表情を判別する判別手段と を備えることを特徴とする画像処理装置。 In the first of the face area specifying means in the image of the frame is positionally correspond to the area of ​​the specified face, a second frame image is a frame later than the first frame in which the input means inputs in the region, determine the relative position of the face region identifying means detects the respective said local feature, the relative position of the local feature of each against a face image set in advance as a reference, the expression of the face based on the difference between the the image processing apparatus comprising: a determining means for.
  9. 顔を含む画像を入力する入力手段と、 Input means for inputting an image including a face,
    前記入力手段が入力した画像からエッジを表す複数の局所特徴を検出し、当該検出した複数の局所特徴の組み合わせより顔の特徴を検出して、前記画像中の顔の領域を特定する顔領域特定手段と、 Said input means detects a plurality of local features representing edges from image input, the detected plurality of detected facial features of a combination of local feature, a face region identifying to identify a region of a face in the image and means,
    前記顔領域特定手段により検出された前記顔の領域中の夫々の前記局所特徴の検出結果と、それぞれの顔の画像から予め得た夫々の前記局所特徴の検出結果と、を用いて前記入力手段が入力した画像中の顔が誰の顔であるかを判別する第1の判別手段と 前記顔領域特定手段により特定された前記顔の領域中の夫々の前記局所特徴の相対位置と、予め基準として設定した顔画像に対する夫々の前記局所特徴の相対位置と、の差を用いて前記顔の表情を判別する第2の判別手段と を備えることを特徴とする画像処理装置。 The face area and the detection result of the local feature of each of the region of the faces detected by the specific means, a detection result of the previously obtained each of the local feature from each face image, the input means using the first discriminating means and the relative position of the local feature of each of the region of the face identified by the face region identifying means, advance the reference but for determining whether a face in the input image is a whose face the image processing apparatus characterized by comprising a second discriminating means for discriminating a facial expression of the face by using the relative position of the local feature each a difference for the set facial image as.
  10. 前記第2の判別手段は、前記第1の判別手段により判別された個人に応じて、前記注目顔に対する表情判別の為に当該個人に対応するパラメータを用いることを特徴とする請求項に記載の画像処理装置。 It said second determining means, according to claim 9, wherein the first, depending on the person who is determined by the determination means, characterized by using the parameters corresponding to the individual for the expression determination with respect to the face of interest the image processing apparatus.
  11. 顔を含む画像を入力する入力工程と、 An input step of inputting an image including a face,
    前記入力工程で入力した画像からエッジを表す複数の局所特徴を検出し、当該検出した複数の局所特徴の組み合わせより顔の特徴を検出して、前記画像中の該顔の領域を特定する顔領域特定工程と、 Detecting a plurality of local features representing an edge from the image input in the input step, by detecting the facial features of a combination of a plurality of local features that the detected face area to identify the areas of said pigment in said image and the specific process,
    前記顔領域特定工程で検出された前記顔の領域中の夫々の前記局所特徴の相対位置と、予め基準として設定した顔画像に対する夫々の前記局所特徴の相対位置との差、を用いて前記顔の属するカテゴリを判別する判別工程と を備えることを特徴とする画像処理方法。 The relative position of the local feature of each of the region of the face detected by the face region specifying step, the difference between the relative position of the local feature of each against a face image set in advance as a reference, the face with an image processing method characterized by comprising a discrimination step for discriminating belongs categories.
  12. 顔を含むフレーム画像を連続して入力する入力工程と、 An input step of inputting successively frame images including a face,
    前記入力工程で入力したフレーム画像からエッジを表す複数の局所特徴を検出し、当該検出した複数の局所特徴の組み合わせより顔の特徴を検出して、前記フレーム画像中の顔の領域を特定する顔領域特定工程と、 Detecting a plurality of local features representing edges from frame images input in the input step, by detecting the facial features of a combination of a plurality of local features that the detected, identifying a region of a face in the frame image face a region specifying step,
    前記入力工程で入力した第1のフレームの画像において前記顔領域特定工程で特定した顔の領域と位置的に対応する、前記第1のフレームよりも後のフレームである第2のフレームの画像における領域において、前記顔領域特定工程で検出した夫々の前記局所特徴の相対位置と、予め基準として設定した顔画像に対する夫々の前記局所特徴の相対位置との差、に基づいて前記顔の表情を判別する判別工程と を備えることを特徴とする画像処理方法。 In a first position to correspond to the face region specified face area with the specific process in the image of the frame, the second frame image is a frame later than the first frame input in the input step in the region, determine the relative position of the face region specifying step in detected each of said local features, the difference between the relative position of the local feature of each against a face image set in advance as a reference, the expression of the face based on an image processing method characterized by comprising a discrimination step of.
  13. 顔を含む画像を入力する入力工程と、 An input step of inputting an image including a face,
    前記入力工程で入力した画像からエッジを表す複数の局所特徴を検出し、当該検出した複数の局所特徴の組み合わせより顔の特徴を検出して、前記画像中の顔の領域を特定する顔領域特定工程と、 Wherein detecting a plurality of local features representing edges from the input image in the input step, the detected plurality of detected facial features of a combination of local feature, a face region identifying to identify a region of a face in the image and a step,
    前記顔領域特定工程で検出された前記顔の領域中の夫々の前記局所特徴の検出結果と、それぞれの顔の画像から予め得た夫々の前記局所特徴の検出結果と、を用いて前記入力工程で入力した画像中の顔が誰の顔であるかを判別する第1の判別工程と 前記顔領域特定工程で特定された前記顔の領域中の夫々の前記局所特徴の相対位置と、予め基準として設定した顔画像に対する夫々の前記局所特徴の相対位置との差、を用いて前記顔の表情を判別する第2の判別工程と を備えることを特徴とする画像処理方法。 The face area and the detection result of the local feature of each of the region of the faces detected in a particular process, the using the detection result of the previously obtained each of the local feature from each face image, an input step first determination step and the face area and the relative position of the local feature of each of the region of the identified the face in a particular step, pre-standards face in the input image is that in determining whether or who face an image processing method characterized by comprising a second determination step of determining the expression of the face using the difference, between the relative position of the local feature of each for the set facial image as.
  14. コンピュータに請求項11乃至13の何れか1項に記載の画像処理方法を実行させることを特徴とするプログラム。 A program characterized by executing the image processing method according to any one of claims 11 to 13 in a computer.
  15. 請求項14に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。 And characterized by storing a program according to claim 14, a computer-readable storage medium.
JP2004167588A 2003-07-18 2004-06-04 The image processing apparatus, an imaging apparatus, an image processing method Active JP4743823B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003199357 2003-07-18
JP2003199357 2003-07-18
JP2004167588A JP4743823B2 (en) 2003-07-18 2004-06-04 The image processing apparatus, an imaging apparatus, an image processing method

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2004167588A JP4743823B2 (en) 2003-07-18 2004-06-04 The image processing apparatus, an imaging apparatus, an image processing method
EP15151440.3A EP2955662B1 (en) 2003-07-18 2004-07-16 Image processing device, imaging device, image processing method
EP18157708.1A EP3358501A1 (en) 2003-07-18 2004-07-16 Image processing device, imaging device, image processing method
CN200480024042.3A CN1839410B (en) 2003-07-18 2004-07-16 Image processor, imaging apparatus and image processing method
PCT/JP2004/010208 WO2005008593A1 (en) 2003-07-18 2004-07-16 Image processing device, imaging device, image processing method
EP04747673.4A EP1650711B1 (en) 2003-07-18 2004-07-16 Image processing device, imaging device, image processing method
US11/330,138 US8515136B2 (en) 2003-07-18 2006-01-12 Image processing device, image device, image processing method
US13/944,038 US8942436B2 (en) 2003-07-18 2013-07-17 Image processing device, imaging device, image processing method

Publications (3)

Publication Number Publication Date
JP2005056387A JP2005056387A (en) 2005-03-03
JP2005056387A5 JP2005056387A5 (en) 2007-07-19
JP4743823B2 true JP4743823B2 (en) 2011-08-10

Family

ID=34379747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004167588A Active JP4743823B2 (en) 2003-07-18 2004-06-04 The image processing apparatus, an imaging apparatus, an image processing method

Country Status (1)

Country Link
JP (1) JP4743823B2 (en)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1839410B (en) * 2003-07-18 2015-05-20 佳能株式会社 Image processor, imaging apparatus and image processing method
JP4614391B2 (en) 2005-06-15 2011-01-19 キヤノン株式会社 The image display method and image display device
JP4926416B2 (en) 2005-06-15 2012-05-09 キヤノン株式会社 Image display method, a program, a recording medium and an image display device
US8542928B2 (en) 2005-09-26 2013-09-24 Canon Kabushiki Kaisha Information processing apparatus and control method therefor
JP4799105B2 (en) * 2005-09-26 2011-10-26 キヤノン株式会社 The information processing apparatus and control method thereof, computer program, storage medium
JP4799104B2 (en) * 2005-09-26 2011-10-26 キヤノン株式会社 The information processing apparatus and control method thereof, computer program, storage medium
JP4218712B2 (en) 2006-08-04 2009-02-04 ソニー株式会社 Face detection device, an imaging device and a face detection method
JP4218711B2 (en) 2006-08-04 2009-02-04 ソニー株式会社 Face detection device, an imaging device and a face detection method
JP4973098B2 (en) * 2006-09-28 2012-07-11 ソニー株式会社 Image processing apparatus, image processing method, and program
KR100860989B1 (en) 2006-12-18 2008-09-30 삼성전자주식회사 Method and apparatus for calculating similarity of face image, method and apparatus for retrieving face image, and method for synthesizing face image
JP4884251B2 (en) * 2007-02-09 2012-02-29 富士フイルム株式会社 Imaging apparatus and method, and program
JP4999570B2 (en) 2007-06-18 2012-08-15 キヤノン株式会社 Facial expression recognition apparatus and method, and an imaging device
JP4853425B2 (en) 2007-08-14 2012-01-11 ソニー株式会社 Imaging device, imaging method and program
JP4720810B2 (en) 2007-09-28 2011-07-13 富士フイルム株式会社 The image processing apparatus, an imaging apparatus, an image processing method and image processing program
JP2012165407A (en) * 2007-12-28 2012-08-30 Casio Comput Co Ltd Imaging apparatus and program
JP4986175B2 (en) 2007-12-28 2012-07-25 カシオ計算機株式会社 The imaging device and program
JP4535164B2 (en) * 2008-04-09 2010-09-01 ソニー株式会社 Imaging device, an image processing apparatus, an image analysis method and a program in these
JP4914398B2 (en) 2008-04-09 2012-04-11 キヤノン株式会社 Facial expression recognition apparatus, an imaging device, method, and program
JP2010027035A (en) 2008-06-16 2010-02-04 Canon Inc Personal authentication equipment and personal authentication method
JP2014116033A (en) * 2008-06-16 2014-06-26 Canon Inc Personal authentication device, personal authentication method, camera, program, and storage medium
JP5106355B2 (en) * 2008-11-13 2012-12-26 キヤノン株式会社 Expression determination unit, a control method, imaging apparatus, and program
JP5361524B2 (en) * 2009-05-11 2013-12-04 キヤノン株式会社 Pattern recognition system and the pattern recognition method
JP5709410B2 (en) * 2009-06-16 2015-04-30 キヤノン株式会社 Pattern processing apparatus and method, program
JP5510999B2 (en) * 2009-11-26 2014-06-04 Necカシオモバイルコミュニケーションズ株式会社 The imaging device and program
JP5330530B2 (en) * 2010-01-22 2013-10-30 パナソニック株式会社 Image management apparatus, an image managing method, a program, a recording medium and an integrated circuit
CN103366782B (en) 2012-04-06 2014-09-10 腾讯科技(深圳)有限公司 Method and device automatically playing expression on virtual image

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2735028B2 (en) * 1995-05-12 1998-04-02 日本電気株式会社 The person's face image matching device
JP4227257B2 (en) * 1999-08-12 2009-02-18 キヤノン株式会社 camera
JP4291963B2 (en) * 2000-04-13 2009-07-08 富士フイルム株式会社 Image processing method
JP3992909B2 (en) * 2000-07-03 2007-10-17 富士フイルム株式会社 Person image providing system
JP4846924B2 (en) * 2001-05-31 2011-12-28 キヤノン株式会社 Pattern recognition device

Also Published As

Publication number Publication date
JP2005056387A (en) 2005-03-03

Similar Documents

Publication Publication Date Title
Heisele et al. A component-based framework for face detection and identification
Zhao et al. Face recognition: A literature survey
US8050465B2 (en) Real-time face tracking in a digital image acquisition device
US8180112B2 (en) Enabling persistent recognition of individuals in images
EP2548154B1 (en) Object detection and recognition under out of focus conditions
JP3279913B2 (en) People authentication device, feature point extracting unit and a feature point extraction method
EP2137670B1 (en) Illumination detection using classifier chains
Burge et al. Ear biometrics
US8254691B2 (en) Facial expression recognition apparatus and method, and image capturing apparatus
Sun et al. Facial expression recognition based on 3D dynamic range model sequences
KR101615254B1 (en) Detecting facial expressions in digital images
Kollreider et al. Real-time face detection and motion analysis with application in “liveness” assessment
Chiang et al. A novel method for detecting lips, eyes and faces in real time
ES2348248T3 (en) Multibiometric system and method based on a single image.
Tian et al. Facial expression analysis
Kusakunniran et al. Gait recognition under various viewing angles based on correlated motion regression
US8351662B2 (en) System and method for face verification using video sequence
US7715596B2 (en) Method for controlling photographs of people
Hadid et al. From still image to video-based face recognition: an experimental analysis
Tapaswi et al. “Knock! Knock! Who is it?” probabilistic person identification in TV-series
US8311290B2 (en) Method for identifying a person and acquisition device
JP4755202B2 (en) Method of detecting a face feature
Breitenstein et al. Real-time face pose estimation from single range images
JP4143305B2 (en) Robot device, verification environment determination method, and verification environment determination program
Huang et al. Face detection and precise eyes location

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070604

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070604

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100720

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100921

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101015

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110117

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110428

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110509

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3