JP6046501B2 - Feature point output device, feature point output program, feature point output method, search device, search program, and search method - Google Patents
Feature point output device, feature point output program, feature point output method, search device, search program, and search method Download PDFInfo
- Publication number
- JP6046501B2 JP6046501B2 JP2013006122A JP2013006122A JP6046501B2 JP 6046501 B2 JP6046501 B2 JP 6046501B2 JP 2013006122 A JP2013006122 A JP 2013006122A JP 2013006122 A JP2013006122 A JP 2013006122A JP 6046501 B2 JP6046501 B2 JP 6046501B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- face
- feature point
- dimensional
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
本発明は、人物の顔部を含む入力画像データから、当該人物の特徴点を抽出する特徴点出力装置、特徴点出力プログラム、抽出された特徴点を用いてデータを検索する検索装置および検索プログラムに関する。 The present invention relates to a feature point output device, a feature point output program for extracting a feature point of a person from input image data including a human face, a search device for searching for data using the extracted feature point, and a search program About.
一般的に、デジタルカメラやコンピュータなどの発達に伴い、人物を撮影した写真などの画像データから、その人物を特定する技術が普及している。この画像データから抽出される人物の特徴点を、特定対象の人物の顔画像データから予め抽出された特徴点とを比較することにより、同一人物であるか否かが判定される。 In general, with the development of digital cameras, computers, and the like, a technique for identifying a person from image data such as a photograph taken of the person has become widespread. It is determined whether or not they are the same person by comparing the feature points of the person extracted from the image data with the feature points extracted in advance from the face image data of the person to be specified.
また、人物画像から顔領域を抽出し、三次元データを生成する手法も知られている(例えば、特許文献1参照。)。 A technique for extracting a face area from a person image and generating three-dimensional data is also known (see, for example, Patent Document 1).
しかしながら、一般的な人物特定技術は、人物を正面から撮影するなどにより、多くの特徴点を抽出できた場合の顔画像を前提としている。従って、人物を正面以外の向きから撮影した顔画像や、喜怒哀楽の表情などのある顔画像などについて、判定に十分な特徴点を抽出することができず、精度が低くなってしまう問題点がある。 However, a general person identification technique is based on a face image in the case where many feature points can be extracted by photographing a person from the front. Therefore, it is not possible to extract sufficient feature points for judgment on face images obtained by shooting a person from a direction other than the front, face images with emotional expressions, etc. There is.
これに対応するために、特定対象の人物について、予め様々な向きや表情で撮影した多くの画像を用意し、これらの画像から特徴点を抽出する方法がある。しかしながら、特定対象の人物ごとに、多くの画像を用意する必要があり、非効率となってしまう問題がある。 In order to cope with this, there is a method in which a lot of images taken in advance with various orientations and expressions are prepared for a specific target person, and feature points are extracted from these images. However, it is necessary to prepare a large number of images for each person to be specified, and there is a problem that it becomes inefficient.
従って本発明の目的は、精度の高い特徴点を効率的に出力する特徴点出力装置、特徴点出力プログラム、特徴点出力方法、抽出された特徴点を用いてデータを検索する検索装置、検索プログラムおよび検索方法を提供することである。 Accordingly, an object of the present invention is to provide a feature point output device, a feature point output program, a feature point output method, a feature point output method, a search device for searching for data using the extracted feature points, and a search program. And providing a search method.
上記課題を解決するために、本発明の第1の特徴は、人物の顔部を含む入力画像データから、当該人物の特徴点を抽出する特徴点出力装置に関する。即ち本発明の第1の特徴に係る特徴点出力装置は、入力画像データの顔部を正規化した正規化顔画像データを、三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データを生成する三次元マッピング手段と、投影顔画像データから、特徴点を抽出する特徴点抽出手段を備える。 In order to solve the above-described problem, a first feature of the present invention relates to a feature point output device that extracts a feature point of a person from input image data including the face portion of the person. That is, the feature point output device according to the first feature of the present invention projects the normalized face image data obtained by normalizing the face portion of the input image data onto the three-dimensional face model, and matches the predetermined direction to the three-dimensional face. 3D mapping means for generating projected face image data obtained by projecting the model, and feature point extracting means for extracting feature points from the projected face image data.
三次元マッピング手段は、正規化顔画像データの顔の向きに合わせた三次元顔モデルに、正規化顔画像データを投影した後、当該三次元顔モデルを所定の向きに合わせても良い。 The three-dimensional mapping unit may project the normalized face image data onto a three-dimensional face model that matches the face direction of the normalized face image data, and then align the three-dimensional face model in a predetermined direction.
正規化顔画像データは、表情、年齢および向きのうち少なくともいずれかについて、三次元顔モデルと一致するように、入力画像データの顔部を変換したデータであっても良い。 The normalized face image data may be data obtained by converting the face portion of the input image data so that at least one of expression, age, and orientation matches the three-dimensional face model.
三次元マッピング手段は、向きを変更して、複数の投影顔画像データを生成し、特徴点抽出手段は、複数の投影顔画像データのそれぞれから、特徴点を抽出しても良い。 The three-dimensional mapping unit may change the direction to generate a plurality of projection face image data, and the feature point extraction unit may extract a feature point from each of the plurality of projection face image data.
本発明の第2の特徴は、人物の顔部を含む入力画像データから、当該人物の特徴点を抽出する特徴点出力プログラムに関する。即ち本発明の第2の特徴に係る特徴点出力プログラムは、コンピュータを、入力画像データの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データを生成する三次元マッピング手段と、投影顔画像データから、特徴点を抽出する特徴点抽出手段として機能させる。 The second feature of the present invention relates to a feature point output program for extracting feature points of a person from input image data including the face portion of the person. That is, the feature point output program according to the second feature of the present invention uses a computer to project normalized face image data obtained by normalizing a face portion of input image data onto a three-dimensional face model, and to perform a tertiary operation in a predetermined direction. It is made to function as a three-dimensional mapping means for generating projected face image data obtained by projecting the original face model, and a feature point extracting means for extracting feature points from the projected face image data.
本発明の第3の特徴は、人物の顔部を含む入力画像データから、当該人物の特徴点を抽出する特徴点出力方法に関する。即ち第3の特徴に係る特徴点出力方法は、入力画像データの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データを生成するステップと、投影顔画像データから、特徴点を抽出するステップを備える。 A third feature of the present invention relates to a feature point output method for extracting feature points of a person from input image data including the face portion of the person. That is, the feature point output method according to the third feature projects the normalized face image data obtained by normalizing the face portion of the input image data onto the three-dimensional face model, and projects and converts the three-dimensional face model according to a predetermined direction. Generating the projected face image data and extracting the feature points from the projected face image data.
本発明の第4の特徴は、複数の画像データを含む画像データベースから、対象ユーザの画像データを検索する検索装置に関する。即ち本発明の第3の特徴に係る検索装置は、入力画像データの対象ユーザの顔部を正規化して三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データから、対象ユーザの特徴点を抽出するユーザ特徴点登録手段と、画像データベースから、対象ユーザの特徴点に基づいて、対象ユーザの顔部を含む画像データを検索する検索手段を備える。 A fourth feature of the present invention relates to a search device that searches for image data of a target user from an image database including a plurality of image data. That is, the search device according to the third feature of the present invention normalizes the target user's face portion of the input image data and projects it onto a three-dimensional face model, and projects the three-dimensional face model according to a predetermined orientation by projection conversion. User feature point registration means for extracting feature points of the target user from the face image data, and search means for searching image data including the face portion of the target user from the image database based on the feature points of the target user.
画像データベースの複数の画像データから、特徴点に基づいて対象ユーザの顔部を含む画像データを抽出し、対象ユーザの識別子と、抽出した画像データの識別子とを対応付けた画像人物対応データを記憶する画像人物対応付け手段をさらに備え、検索手段は、画像データベースから、画像人物対応データにおいて対象ユーザの識別子に対応する画像データを検索しても良い。 Image data including the face portion of the target user is extracted from a plurality of image data in the image database based on the feature points, and image person correspondence data in which the identifier of the target user is associated with the identifier of the extracted image data is stored. The image person association unit may further include an image person association unit configured to retrieve image data corresponding to the identifier of the target user in the image person association data from the image database.
本発明の第5の特徴は、複数の画像データを含む画像データベースから、対象ユーザの画像データを検索する検索プログラムに関する。即ち本発明の第4の特徴に係る検索プログラムは、コンピュータを、入力画像データの対象ユーザの顔部を正規化して三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データから、対象ユーザの特徴点を抽出するユーザ特徴点登録手段と、画像データベースから、対象ユーザの特徴点に基づいて、対象ユーザの顔部を含む画像データを検索する検索手段として機能させる。 A fifth feature of the present invention relates to a search program for searching for image data of a target user from an image database including a plurality of image data. In other words, the search program according to the fourth feature of the present invention normalizes the face portion of the target user of the input image data and projects it onto a three-dimensional face model, and projects a three-dimensional face model in a predetermined direction. User feature point registration means for extracting feature points of the target user from the converted projected face image data, and search means for searching image data including the face portion of the target user from the image database based on the feature points of the target user To function as.
本発明の第6の特徴は、複数の画像データを含む画像データベースから、対象ユーザの画像データを検索する検索方法に関する。即ち本発明の第6の特徴に係る検索方法は、入力画像データの対象ユーザの顔部を正規化して三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データから、対象ユーザの特徴点を抽出するステップと、画像データベースから、対象ユーザの特徴点に基づいて、対象ユーザの顔部を含む画像データを検索するステップを備える。 A sixth feature of the present invention relates to a search method for searching image data of a target user from an image database including a plurality of image data. That is, the search method according to the sixth aspect of the present invention is a projection obtained by normalizing a target user's face portion of input image data and projecting it on a three-dimensional face model, and projecting and transforming a three-dimensional face model in a predetermined direction. Extracting the target user's feature points from the face image data, and searching the image database for image data including the target user's face based on the target user's feature points.
本発明によれば、精度の高い特徴点を効率的に出力する特徴点出力装置、特徴点出力プログラム、特徴点出力方法、抽出された特徴点を用いてデータを検索する検索装置、検索プログラムおよび検索方法を提供することができる。 According to the present invention, a feature point output device that efficiently outputs highly accurate feature points, a feature point output program, a feature point output method, a search device that searches for data using the extracted feature points, a search program, and A search method can be provided.
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。 Next, embodiments of the present invention will be described with reference to the drawings. In the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals.
(実施の形態)
図1に示す本発明の実施の形態に係る特徴点出力装置1は、人物の顔部を含む入力画像データ21から、この人物の特徴点を抽出する。ここで、「特徴点」とは、人物の顔の特徴を決定するためのデータであって、例えば、顔のパーツの相対位置、目の内側の端と外側の端の相対位置などのデータである。特徴点データ25が保持する特徴点の種別は、特徴点データ25を利用するシステムに依存し、本発明の実施の形態においては問わない。
(Embodiment)
The feature point output device 1 according to the embodiment of the present invention shown in FIG. 1 extracts the feature point of the person from the
特徴点出力装置1は、例えば、人物の特徴点の登録において用いられる。登録用の入力画像データ21が入力されると、特徴点出力装置1はこの入力画像データ21に基づいて、人物が様々な向きに向いた画像データを生成し、それぞれの画像データから抽出した複数の特徴点を出力する。特徴点出力装置1が出力した特徴点は、認証システムや検索システムなどにおいて参照される。例えば、認証システムは、認証対象ユーザの顔部の特徴点が、予め登録された特徴点と一致するか否かを検証する。検索システムは、検索対象ユーザの予め登録された顔部の特徴点に基づいて、複数の画像データから、検索対象ユーザを撮影した画像データを抽出する。
The feature point output device 1 is used, for example, in the registration of person feature points. When the
図1を参照して、本発明の実施の形態に係る特徴点出力装置1を説明する。 A feature point output apparatus 1 according to an embodiment of the present invention will be described with reference to FIG.
特徴点出力装置1は、中央処理制御装置10、記憶装置20および入出力制御装置30を備える一般的なコンピュータである。特徴点出力装置1は、所定の処理を実行するための特徴点出力プログラムを読み込み実行することにより、図1に示す各手段として機能する。
The feature point output device 1 is a general computer including a central
入出力制御装置20は、操作者が入力装置を操作して入力した指示を、中央処理制御装置10に入力するとともに、中央処理制御装置10の処理結果を表示装置に出力して、操作者に認識させる。入出力制御装置30は、LAN、インターネットなどの通信ネットワークで接続する情報端末を操作者が操作することにより、操作者の指示を入力し、処理結果を出力しても良い。
The input /
記憶装置20は、入力画像データ21、顔画像データ22、正規化顔画像データ24、複数の投影顔画像データ24a、24b…および特徴点データ25を記憶する。本発明の実施の形態において、複数の投影顔画像データ24a、24b…を特に区別しない場合、単に投影顔画像データ24を記載する場合がある。
The
入力画像データ21は、対象ユーザなどの人物の顔部を含む画像データである。入力画像データ21には、特徴点出力装置1が特徴点を出力する対象ユーザの顔部が撮影されている。入力画像データ21は、操作者の指示などにより、入出力制御装置30を介して、予め記憶装置20に記憶される。
The
入力画像データ21において、対象ユーザの顔部が撮影されていれば良く、表情や向き、顔部の大小は問わない。後述する三次元マッピング手段13が出力する投影顔画像データから抽出する特徴点が、認証システムや検索システムなどで要求される精度を満たすことができれば良く、入力画像データ21に、顔の全てが含まれていなくとも良い。
In the
顔画像データ22は、入力画像データ21から抽出した顔部のデータである。顔画像データ22は、顔画像抽出手段11により生成され記憶される。
The
正規化顔画像データ24は、顔画像データ22を正規化したデータである。正規化顔画像データ24は、正規化手段12により生成され記憶される。
The normalized face image data 24 is data obtained by normalizing the
投影顔画像データ24は、正規化顔画像データ24を三次元顔モデルにマッピングし、この三次元顔モデルを二次元に投影変換したデータである。投影顔画像データ24は、三次元マッピング手段13により生成され記憶される。三次元マッピング手段13が、三次元顔モデルの向きを変更する場合、向きを変更する度に、複数の投影顔画像データ24a、24b、…を生成する。
The projected face image data 24 is data obtained by mapping the normalized face image data 24 to a three-dimensional face model and projecting the three-dimensional face model into two dimensions. The projected face image data 24 is generated and stored by the three-dimensional mapping means 13. When the three-
特徴点データ25は、投影顔画像データ24から抽出した特徴点を含むデータである。ここで、一つの投影顔画像データ24から複数の特徴点を抽出しても良く、一つの投影顔画像データ24から抽出した複数の特徴点を「特徴点セット」と称する。複数の投影顔画像データ24a、24b、…からそれぞれ特徴点セットを抽出した場合、特徴点データ25は、一つの投影顔画像データ24に対応して一つの特徴点セットを有する。
The
例えば、任意のユーザAの顔画像に基づいて、三次元顔モデルを3つの向きに変更することにより、3つの投影顔画像データ24が生成され、各投影顔画像データ24から複数の特徴点が抽出された場合を想定する。この3つの向きは、顔の正面、上α1度かつ右β1度および上α2度かつ右β2度である。この場合、特徴点データ25は、図2に示すように3つの特徴点セットを有する。図2に示す例では、一つの特徴点セットは、n個の特徴点を含む。認証システムや検索システムなどは、特徴点セットの各特徴点に基づいて、処理する。
For example, by changing the three-dimensional face model in three directions based on the face image of an arbitrary user A, three projected face image data 24 are generated, and a plurality of feature points are obtained from each projected face image data 24. Assume that it has been extracted. The three orientations are the front of the face, α1 degree up and β1 degree right, and α2 degree up and β2 degree right. In this case, the
中央処理制御装置10は、顔画像抽出手段11、正規化手段12、三次元マッピング手段13および特徴点抽出手段14を備える。顔画像抽出手段11、正規化手段12、三次元マッピング手段13および特徴点抽出手段14を、特徴点出力手段113と称する場合もある。
The central
顔画像抽出手段11は、入力画像データ21から、対象ユーザの顔部を切り取り、顔画像データ22を生成する。
The face
正規化手段12は、顔画像データ22を正規化し、正規化顔画像データ24を生成する。ここで正規化とは、表情、年齢および向きのうち少なくともいずれかについて、前記三次元顔モデルと一致するように、顔画像データ22を変換することである。三次元顔モデルが無表情の場合、正規化手段12は、顔画像データ22を無表情に変換する。
The normalizing means 12 normalizes the
正規化手段12による正規化処理は、既存の技術に基づいて実現される。ここで、正規化手段12が、無表情の正規化顔画像データ24を生成する場合を説明する。
The normalization process by the normalization means 12 is realized based on existing technology. Here, a case where the normalizing
正規化手段12はまず、顔画像データ22における対象ユーザの表情を推定する。正規化手段12は、表情を推定する技術として、例えば、「ポテンシャルネットを用いた顔領域の推定と表情認識」(別所 弘章,岩井 儀雄,谷内田 正彦,電子情報通信学会技術研究報告(PPMU),Vol.99(449),pp.43−48,1999−11−19)を用いることができる。正規化手段12はこの技術により、表情データベースを参照して、顔画像データ22の顔部から抽出した顔器官情報に基づいて表情を推定する。
The normalizing means 12 first estimates the facial expression of the target user in the
次に、正規化手段12は、表情データベースを参照して、推定された表情から無表情に変換するための、各顔器官の位置のずれを算出し、モーフィング処理によって、無表情の顔画像である正規化顔画像データ24を生成する。正規化手段12は、モーフィング技術として、例えば、「顔画像からの筋肉パラメータの推定とそれに基づく他人の表情生成」(AHN Seonju,小沢 愼治,電子情報通信学会論文誌,Vol.J88−D−II(10),pp.2081−2089,2005−10−01)を用いることができる。正規化手段12はこの技術により、表情のある顔から無表情の顔への顔器官の変異を事前に学習し、表情のある顔画像データ22から、無表情の正規化顔画像データ24を生成する。
Next, the normalization means 12 refers to the expression database, calculates the position shift of each facial organ for converting the estimated expression into the expressionless expression, and uses the expressionless face image by morphing processing. Some normalized face image data 24 is generated. The normalizing means 12 is, for example, “estimating muscle parameters from facial images and generating facial expressions of others based on the morphing techniques” (AHN Seonju, Shinji Ozawa, IEICE Transactions, Vol. J88-D-II). (10), pp. 2081-2089, 2005-10-01). Using this technique, the normalizing means 12 learns in advance the facial organ variation from a facial expression to an expressionless face, and generates expressionless normalized facial image data 24 from the expression
以上説明したように、正規化手段12が、正規化により無表情の正規化顔画像データ24を生成する場合を説明したが、年齢や顔の向きも正規化しても良い。例えば、三次元マッピング手段13において、所定の年齢に対応する三次元顔モデルを使って処理する場合、正規化手段12は、顔画像データ22を、三次元顔モデルの年齢にあうように変換して正規化顔画像データ24を生成することが好ましい。この場合、正規化手段12は、三次元顔モデルの年齢に一致するように、顔画像データ22を変化させて、正規化顔画像データ24を生成する。正規化手段12は、年齢に応じた顔画像の生成技術として、例えば、「統計情報を用いた年齢変化顔画像の生成」(磯野 勝宣,橋本 隆之,堀 雅和,電子情報通信学会論文誌,Vol.45,pp.10−14,2004−06−15)を用いることができる。正規化手段12は、この技術で開示された年齢変化に伴う顔器官の位置のデータベースに基づいて、顔画像データ22から、所定の年齢に対応する正規化顔画像データ24を生成する。
As described above, the case where the normalizing
また正規化手段12は、顔画像データ22を正面の画像に変換して正規化顔画像データ24を生成しても良い。さらに正規化手段12は、表情および年齢を正規化するなど、表情、年齢および向きなどを任意に組み合わせて、正規化しても良い。
Further, the normalizing
三次元マッピング手段13は、正規化顔画像データ24と表情、年齢などが一致するこの三次元顔モデルのデータを用いて、複数の投影顔画像データ24を生成する。例えば、三次元マッピング手段13は、年齢別の三次元顔モデルを保持している場合、正規化顔画像データ24におけるユーザの年齢に対応する三次元顔モデルを用いることが好ましい。
The three-dimensional mapping means 13 generates a plurality of projected face image data 24 using the data of the three-dimensional face model whose facial expression, age, etc. match the normalized face image data 24. For example, when the three-
三次元マッピング手段13は、まず、正規化顔画像データ24の顔の向きに合わせた三次元顔モデルに、正規化顔画像データ24を投影する。その後三次元マッピング手段13は、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データ24を生成する。三次元マッピング手段13は、三次元顔モデルの向きを変更して、複数の投影顔画像データ24a、24b…を生成する。
First, the three-
ここで三次元マッピング手段13は、テクスチャマッピングを用いて、二次元の正規化顔画像データ24を、三次元顔モデルにマッピングする。これにより、任意の方向から三次元顔モデル上に二次元の絵を投射した時の絵の見え方を再現することが可能となる。 Here, the three-dimensional mapping means 13 maps the two-dimensional normalized face image data 24 to the three-dimensional face model using texture mapping. This makes it possible to reproduce the appearance of a picture when a two-dimensional picture is projected onto a three-dimensional face model from an arbitrary direction.
三次元マッピング手段13は、まず、正規化顔画像データ24における対象ユーザの顔の向きを推定する。三次元マッピング手段13は、対象ユーザの顔の向きを推定する技術として、「耳と顔の特徴の位置関係に基づく顔画像からの視線方向の推定」(Vol.97(596), pp.113−120, 1998−03−13)を用いることができる。三次元マッピング手段13は、この技術により、正規化顔画像データ24における耳や目などの位置関係から、正規化顔画像データ24中の対象ユーザの顔方向や視線方向を推定する。三次元マッピング手段13は、三次元顔モデルを推定した顔方向に向かせて、正規化顔画像データ24のテクスチャを、三次元顔モデルに投影する。
First, the three-dimensional mapping means 13 estimates the orientation of the target user's face in the normalized face image data 24. The three-dimensional mapping means 13 is a technique for estimating the orientation of the target user's face as “estimation of the gaze direction from the face image based on the positional relationship between the ear and facial features” (Vol. 97 (596), pp. 113. -120, 1998-03-13) can be used. With this technique, the three-
テクスチャマッピングで描画された三次元モデルを用いて、別の向きからの見え方も再現できる。これに基づいて三次元マッピング手段13は、正規化顔画像データ24をマッピングした三次元顔モデルを利用して、別の向きで見た場合の三次元顔モデルを生成する。ここで、三次元顔モデルに与える向きは、顔の正面、上±α度、右±β度、上±α度かつ右±β度などである。 The 3D model drawn by texture mapping can be used to reproduce the appearance from different directions. Based on this, the three-dimensional mapping means 13 uses the three-dimensional face model to which the normalized face image data 24 is mapped to generate a three-dimensional face model when viewed in another direction. Here, the directions given to the three-dimensional face model are the front of the face, upper ± α degrees, right ± β degrees, upper ± α degrees, right ± β degrees, and the like.
さらに三次元マッピング手段13は、向きの異なる複数の三次元顔モデルを二次元平面に変換して、複数の投影顔画像データ24を生成する。具体的には三次元マッピング手段13は、コンピュータグラフィックスの分野における投影変換を行うことにより、三次元顔モデルから、複数の投影顔画像データ24を生成する。
Further, the three-
ここで、複数の三次元顔モデルを生成する際の向きや向きを決定する角度の変化量に関する情報は、特徴点出力装置1が出力する特徴点データ25を参照するシステムで求められる精度や仕様などに依存する。従って、三次元マッピング手段13が参照可能な設定ファイルデータなどに、複数の三次元顔モデルを生成する際の向きや、向きを決定する角度の変化量に関する情報が、予め設定される。三次元マッピング手段13は、設定ファイルデータの設定に従って、三次元顔モデルを、所定の軸を基準に所定角度で回転させることにより、三次元顔モデルの向きを変更して、複数の三次元顔モデルを生成する。
Here, the information regarding the direction when generating a plurality of three-dimensional face models and the amount of change in the angle that determines the direction is the accuracy and specification required by the system referring to the
例えば、斜め上18度を向いた入力画像データ21から、特徴点を抽出する場合を想定する。三次元マッピング手段13は、斜め上18度を向いた入力画像データ21から得られた正規化顔画像データ24を、斜め上18度を向いた三次元顔モデルにテクスチャマッピングする。これにより三次元マッピング手段13は、対象ユーザが斜め上18度を向いたことを示す三次元顔モデルのデータを生成する。
For example, a case is assumed where feature points are extracted from
三次元マッピング手段13は、三次元顔モデルの向きを正面に変更して、対象ユーザが正面を向いたことを示す三次元顔モデルのデータを生成する。また三次元マッピング手段13は、下30度から上30度までの10度刻み、右30度から左30度までの10度刻み、またこれらの角度を組み合わせなどに、三次元顔モデルの向きを変更する。三次元マッピング手段13は、対象ユーザがそれぞれの向きに向いたことを示す三次元顔モデルのデータを生成し、投影変換により複数の投影顔画像データ24を生成する。
The three-dimensional mapping means 13 changes the direction of the three-dimensional face model to the front, and generates three-dimensional face model data indicating that the target user faces the front. Also, the three-dimensional mapping means 13 sets the direction of the three-dimensional face model in increments of 10 degrees from the lower 30 degrees to the upper 30 degrees, in increments of 10 degrees from the right 30 degrees to the left 30 degrees, and combinations of these angles. change. The three-
このように、入力画像データ21において対象ユーザが斜め上18度を向いていたとしても、三次元マッピング手段13により、一つの入力画像データ21から、対象ユーザの顔が様々な向きに向いた複数の投影顔画像データ24を、効率的に生成することができる。これにより、様々な顔の向きの顔認証にも対応するので、精度の高い特徴点を効率的に出力することができる。
As described above, even if the target user is directed obliquely upward 18 degrees in the
特徴点抽出手段14は、投影顔画像データ24から、特徴点を抽出し、特徴点データ25を生成する。特徴点抽出手段14は、投影顔画像データ24が複数の場合、それぞれの投影顔画像データ24から特徴点を抽出する。ここで、特徴点抽出手段14が抽出する特徴点は、特徴点データ25を参照するシステムが用いる特徴点である。特徴点データ25は、図2に示すように、投影顔画像データ24の数、具体的には三次元顔モデルに与えた向きに対応して、複数の特徴点セットを含む。ここで特徴点抽出手段14は、三次元顔モデルのデータを用いずに、正規化顔画像データ24から抽出した特徴点セットも、特徴点データ25に含めても良い。
The feature
なお図1に示す例では、三次元マッピング手段13が、複数の投影顔画像データ24a、24b、…を生成した後、特徴点抽出手段14が、それぞれの投影顔画像データ24a、24b、…について特徴点を抽出する場合を説明したが、これに限られない。例えば、三次元マッピング手段13が、投影顔画像データ24を生成する度に、特徴点抽出手段14が、この投影顔画像データ24から特徴点を抽出しても良く、処理順序は問わない。
In the example shown in FIG. 1, after the three-
図3を参照して、本発明の実施の形態に係る特徴点出力手段113による、特徴点出力処理を説明する。 With reference to FIG. 3, the feature point output process by the feature point output means 113 according to the embodiment of the present invention will be described.
まずステップS1において顔画像抽出手段11は、記憶装置20から入力画像データ21を読み出し、ステップS2において、入力画像データ21から顔画像データ22を抽出する。顔画像データ22を抽出できなかったと判定された場合、そのまま処理を終了する。その後ステップS3において正規化手段12は、特徴点出力手段113は顔画像データ22を正規化し、正規化顔画像データ24を生成する。ステップS3において、顔画像データ22を正規化できなかったと判定された場合、そのまま処理を終了する。
First, in step S1, the face
ステップS4において三次元マッピング手段13は、正規化顔画像データ24の顔方向を推定し、推定した顔方向に合わせた三次元顔モデルに、正規化顔画像データ24をマッピングする。その後特徴点出力手段113は、設定ファイルデータで設定された各向きに基づいて、ステップS4でマッピングされた三次元顔モデルについて、ステップS5ないしステップS8の処理を繰り返す。
In step S4, the three-dimensional mapping means 13 estimates the face direction of the normalized face image data 24, and maps the normalized face image data 24 to a three-dimensional face model that matches the estimated face direction. After that, the feature
まずステップS5において、ステップS4でマッピングされた三次元顔モデルを、所定の向きに設定する。この所定の向きは、設定ファイルデータで設定された複数の向きの一つである。ステップS6において三次元マッピング手段13は、ステップS5において所定の向きに設定された三次元顔モデルのデータから、投影変換により二次元の投影顔画像データ24を生成する。 First, in step S5, the three-dimensional face model mapped in step S4 is set in a predetermined direction. This predetermined direction is one of a plurality of directions set in the setting file data. In step S6, the three-dimensional mapping means 13 generates two-dimensional projection face image data 24 by projection conversion from the three-dimensional face model data set in a predetermined direction in step S5.
ステップS7において特徴点抽出手段14は、ステップS6で生成した投影顔画像データ24から特徴点を抽出し、ステップS8においてステップS7で抽出した特徴点のデータを特徴点データ25に保存する。特徴点抽出手段14は、予め設定ファイルデータにおいて設定された特徴点の種別に対応する特徴点のデータを算出する。ステップS7で抽出する特徴点は、図2に示す特徴点データ25の一つの特徴点セットに対応し、ステップS8の処理により、特徴点データ25に1レコードが追加される。
In step S7, the feature
設定ファイルデータで設定された各向きについて、ステップS5ないしステップS7の処理が終了すると、特徴点出力手段113は、処理を終了する。
When the processing of step S5 to step S7 is completed for each direction set in the setting file data, the feature
図3で示す例では、投影顔画像データ24を生成する度に特徴点を抽出する処理を説明したが、矛盾が生じない限り、処理の順序は問わない。 In the example illustrated in FIG. 3, the process of extracting the feature points every time the projection face image data 24 is generated has been described, but the order of the processes is not limited as long as no contradiction occurs.
このように本発明の実施の形態に係る特徴点出力装置1は、対象ユーザの顔画像データを正規化することにより、表情や年齢などに依存することなく、特徴点を抽出することができる。 As described above, the feature point output apparatus 1 according to the embodiment of the present invention can extract the feature points without depending on the facial expression, the age, or the like by normalizing the face image data of the target user.
また特徴点出力装置1は、正規化した顔画像を三次元顔モデルにマッピングするとともに、所定の向きに設定した三次元顔モデルを投影変換して、対象ユーザが様々な向きを向いた投影顔画像データ24を生成する。これにより特徴点出力装置1は、1枚の入力画像データ21から、様々な向きの顔部の特徴点を効率的に抽出することができる。従って、認証システムや検索システムなどにおいて、様々な向きの顔画像に対応することができるので、各システムの精度を向上させることができる。
The feature point output device 1 maps the normalized face image to the three-dimensional face model, and also projects and converts the three-dimensional face model set in a predetermined direction so that the target user faces various directions. Image data 24 is generated. As a result, the feature point output device 1 can efficiently extract feature points of face portions in various directions from one piece of
さらに、入力画像データ21における対象ユーザの向きに三次元顔モデルを合わせてから、正規化顔画像データ24を三次元顔モデルにマッピングする。これにより、入力画像データ21において対象ユーザが正面を向いていなくとも、正面やそのほかの向きを向いた投影顔画像データ24を生成することができる。
Furthermore, after the 3D face model is matched with the orientation of the target user in the
(適用例)
図4を参照して、本発明の実施の形態に係る特徴点出力装置1が出力した特徴点データを、検索システム300に適用した例を説明する。検索システム300は、特徴点出力装置1が出力した特徴点に基づいて、予め登録された複数の画像データから、所定のユーザが含まれる画像データを検索したり、画像データに含まれるユーザの氏名を特定したりする。
(Application example)
With reference to FIG. 4, an example in which the feature point data output by the feature point output device 1 according to the embodiment of the present invention is applied to the search system 300 will be described. The search system 300 searches for image data including a predetermined user from a plurality of pre-registered image data based on the feature points output by the feature point output device 1 or the names of users included in the image data. Or to identify.
検索システム300は、検索装置100、ユーザ端末200a、200bおよび200cを備える。検索装置100は、インターネットなどの通信ネットワーク301を介して、ユーザ端末200a、200bおよび200cと相互に通信可能に接続される。ユーザ端末200a、200bおよび200cを区別しない場合、単にユーザ端末200と記載する場合がある。
The search system 300 includes the
ユーザ端末200は、検索システム300における検索サービスを享受するユーザによって、利用される。ユーザ端末200は、画像を表示する表示装置、指示を入力する入力装置、通信ネットワーク301に接続するための通信制御装置、これらの各装置とデータを送受信し処理するコントローラなどを備える情報処理端末である。ユーザ端末200は、例えば、パーソナルコンピュータ、携帯電話機、スマートフォンなどである。
The
検索装置100は、本発明の実施の形態に係る特徴点出力手段113が出力した特徴点に基づいて、複数の画像データを含む画像データベース124から、対象ユーザの画像データなどを検索する。検索装置100は、中央処理制御装置110、記憶装置120および入出力制御装置130を備える一般的なコンピュータである。検索装置100は、所定の処理を実行するための検索プログラムを読み込み実行することにより、図4に示す各手段として機能する。
The
記憶装置120は、ユーザ画像データ121、特徴点データベース122、画像人物対応データ123および画像データベース124を記憶する。画像データベース124は、複数の画像データを含む。
The
中央処理制御装置110は、ユーザ画像取得手段111、ユーザ特徴点登録手段112、画像人物対応付け手段114および検索手段115を備える。ここで、ユーザ画像取得手段111、ユーザ特徴点登録手段112および画像人物対応付け手段114は、検索に必要な特徴点などの情報を登録するための処理手段である。検索手段115は、ユーザ画像取得手段111、ユーザ特徴点登録手段112および画像人物対応付け手段114によって登録された情報に基づいて、画像データなどを検索する。
The central
ユーザ画像取得手段111は、ユーザ端末200が送信したユーザ画像データ121を受信し、記憶装置120に記憶する。このユーザ画像データ121は、特徴点を抽出する対象となる対象ユーザの顔部を含む。ユーザ画像取得手段111は、ユーザ画像データ121を、対象ユーザの識別子に対応付けて記憶しても良い。
The user
ユーザ特徴点登録手段112は、ユーザ画像データ121を特徴点出力手段113に入力するとともに、特徴点出力手段113によって出力された特徴点データを取得する。ユーザ特徴点登録手段112は、取得した特徴点データを、対象ユーザの識別子に対応付けて特徴点データベース122に記憶する。特徴点出力手段113は、図1等を参照して説明した本発明の実施の形態に係る特徴点出力装置1の各手段に相当する。
The user feature
ユーザ特徴点登録手段112は、ユーザ画像データ121を特徴点出力手段113に入力する。特徴点出力手段113は、ユーザ画像データ121の対象ユーザの顔部を正規化して三次元顔モデルに投影し、所定の向きに向いた三次元顔モデルを投影変換して、投影顔画像データ24を生成する。特徴点出力手段113は、三次元顔モデルの向きを様々に変化させて、各向きの投影顔画像データ24を生成する。特徴点出力手段113は、複数の投影顔画像データ24のそれぞれから特徴点を抽出して特徴点セットを生成し、特徴点データ25を生成する。
The user feature
ユーザ特徴点登録手段112は、対象ユーザの識別子に、一つの投影顔画像データ24から生成した特徴点セットを対応付けて、特徴点データベース122に登録する。ユーザ特徴点登録手段112は、特徴点出力手段113において生成された投影顔画像データ24の数に対応したレコードを、特徴点データベース122に登録する。
The user feature
画像人物対応付け手段114は、画像データベース124に登録された画像データの識別子と、この画像データに含まれるユーザの識別子とを対応付けて、画像人物対応データ123を生成する。画像人物対応データ123は、図5に示すように、ユーザの識別子と、このユーザの顔部を含む画像データの識別子とを対応付けたデータである。
The image
画像人物対応付け手段114は、画像データベース124の複数の画像データから、対象ユーザの特徴点データの特徴点に基づいて対象ユーザの顔部を含む画像データを抽出する。ここで、対象ユーザの特徴点データは、様々な向きに対応する特徴点セットを含む。従って、画像データにおいて対象ユーザがどのような向きで撮られていても、画像人物対応付け手段114は、対象ユーザの顔部を含む画像データを抽出し、画像人物対応データ123を生成することができる。
The image
検索手段115は、画像データベース124から、対象ユーザの特徴点データの特徴点に基づいて、対象ユーザの顔部を含む画像データを検索する。検索手段115による検索処理は、様々な形態が考えられる。検索手段115が検索時に参照する特徴点の種別などは、特徴点出力手段113が参照可能な設定ファイルデータに記憶される。
The
例えば、ユーザ端末200から、対象ユーザの識別子が入力されると、検索手段115は、画像データベース124から、画像人物対応データ123において対象ユーザの識別子に対応する画像データを検索する。検索手段115は、対象ユーザの顔部を含む画像データを検索すると、検索した画像データを、ユーザ端末200に送信する。
For example, when the identifier of the target user is input from the
また検索手段115は、ユーザ端末200から、ユーザの顔部を含むクエリ画像データが入力されると、このクエリ画像データに含まれるユーザの識別子を出力したり、このユーザの映り込んだ画像データを出力したりすることができる。例えば、検索手段115は、入力されたクエリ画像データから特徴点を抽出し、特徴点データベース122から、抽出した特徴点と一致する特徴点を有するユーザの識別子を抽出し、出力する。特徴点データベース122には、予め様々な向きのユーザの特徴点が登録されているので、検索手段115は、入力されたクエリ画像データにおけるユーザの向きにかかわらず、このユーザを識別することができる。検索手段115はさらに、クエリ画像データに含まれるユーザの識別子を特定すると、画像人物対応データ123から、特定されたユーザの識別子に対応付けられた画像の識別子を取得し、この画像の識別子に対応する画像データを出力しても良い。
Further, when the query image data including the user's face is input from the
ここで検索手段115は、ユーザ端末200からクエリ画像データが入力されると、このクエリ画像データに含まれるユーザの顔部を正規化した後、特徴点を抽出しても良い。検索手段115は、クエリ画像データを特徴点データベース122に登録された表情などと同じ条件に変換することにより、精度を向上させることができる。
Here, when query image data is input from the
図4に示す例において、検索装置100が、一つのコンピュータで実装される場合を説明したが、これに限られない。例えば、検索装置100は、複数の画像データを管理する画像データベースサーバや、図1で参照して説明した特徴点出力装置1などと連携しても良い。このように検索装置100による検索サービスは、いわゆるクラウドサービスを経由してユーザ端末200に提供されても良い。
In the example shown in FIG. 4, the case where the
図6ないし図8を参照して、本発明の実施の形態に係る検索システム300の処理の一例を説明する。 With reference to FIG. 6 thru | or FIG. 8, an example of the process of the search system 300 which concerns on embodiment of this invention is demonstrated.
図6を参照して、検索システム300において、ユーザの特徴点を登録する処理を説明する。この処理は、図4のユーザ画像取得手段111、ユーザ特徴点登録手段112および画像人物対応付け手段114の処理に対応する。
With reference to FIG. 6, a process of registering user feature points in the search system 300 will be described. This processing corresponds to the processing of the user
まずステップS101において、ユーザ端末200が、登録リクエストを送信する。この登録リクエストは、ユーザAの顔部を含むユーザ画像データと、このユーザAの識別子を含む。
First, in step S101, the
検索装置100は、ユーザ端末200から登録リクエストを受信すると、ステップS102において、ユーザAの顔部を含むユーザ画像データ121に基づいて、ユーザAの顔の特徴点を取得し、特徴点データベース122に登録する。ここでユーザAが様々な向きに向いた画像における複数の特徴点セットが、特徴点データベース122に登録される。
When receiving the registration request from the
ステップS103において検索装置100は、ユーザAの様々な向きに対応する特徴点に基づいて、画像データベース124からユーザAの顔部が含まれる画像データを特定する。ステップS104において検索装置100は、ステップS101で取得したユーザAの識別子と、ステップS103で特定されたユーザAの顔部が含まれる画像データの識別子とを対応付けて、画像人物対応データ123に登録する。
In step S <b> 103, the
登録が完了すると検索装置100は、ステップS101の登録リクエストに対応して、ユーザ端末200に登録応答を返す。
When the registration is completed, the
図6に示す例では、ユーザAについて画像人物対応データ123への登録が完了したタイミングで登録応答を返す場合を説明するが、これに限られない。検索装置100は例えば、登録リクエストを受信した後、応答を返し、ステップS102ないしステップS104などの処理は、登録リクエストの受信とは非同期に、バッチ処理などで処理されても良い。
In the example illustrated in FIG. 6, a case where a registration response is returned at the timing when registration of the user A in the image
図7を参照して、検索システムにおいて、ユーザの識別子から、このユーザの顔部を含む画像データを検索する処理を説明する。まずステップS201において、ユーザ端末200が、取得リクエストを送信する。この取得リクエストは、ユーザAの識別子を含む。
With reference to FIG. 7, processing for searching image data including a user's face from a user identifier in the search system will be described. First, in step S201, the
検索装置100は、ユーザ端末200から取得リクエストを受信すると、ステップS202において、画像人物対応データ123から、ユーザAの識別子に対応付けられた画像の識別子を取得する。さらに検索装置100は、ステップS203において、画像データベース124から、ステップS202で取得した画像の識別子に対応する画像データを取得する。ここで取得する画像データは、ユーザAの顔部を含む。ステップS204において検索装置100は、ステップS201の取得リクエストに対応して、ユーザ端末200に取得応答を返す。この取得応答は、ステップS203で取得した画像データを含む。
When receiving the acquisition request from the
図8を参照して、クエリ画像データから、このクエリ画像データのユーザの顔部を含む画像データを検索する処理を説明する。まずステップS301において、ユーザ端末200が、取得リクエストを送信する。この取得リクエストは、クエリ画像データを含み、クエリ画像データは、ユーザBの顔部を含む。
With reference to FIG. 8, a process for searching image data including the user's face portion of the query image data from the query image data will be described. First, in step S301, the
検索装置100は、ユーザ端末200から取得リクエストを受信すると、ステップS302において、クエリ画像データの特徴点を特定し、この特徴点に基づいて、特徴点データベース122から、このクエリ画像データに含まれるユーザの識別子を抽出する。ステップS304において、ユーザの識別子が抽出されなかった場合、ステップS308に進む。ステップS308において検索装置100は、ステップS301の取得リクエストに対応して、ユーザ端末200に、エラーの応答を返す。
When receiving the acquisition request from the
一方、ステップS303においてユーザの識別子、具体的には、「ユーザB」の識別子を抽出できた場合、ステップS305に進む。ステップS305において検索装置100は、画像人物対応データ123から、ユーザBの識別子に対応付けられた画像の識別子を取得する。さらに検索装置100は、ステップS306において、画像データベース124から、ステップS305で取得した画像の識別子に対応する画像データを取得する。ここで取得する画像データは、ユーザBの顔部を含む。ステップS307において検索装置100は、ステップS301の取得リクエストに対応して、ユーザ端末200に取得応答を返す。この取得応答は、ステップS306で取得した、クエリ画像データに含まれるユーザであるユーザBの識別子と、ユーザBの顔部を含む画像データを含む。
On the other hand, if the identifier of the user, specifically, the identifier of “user B” has been extracted in step S303, the process proceeds to step S305. In step S <b> 305, the
図8に示す例において検索装置100は、ステップS303で抽出したユーザの識別子をユーザ端末200に返しても良い。これによりユーザ端末200は、クエリ画像データに映り込んだユーザの名前を特定することができる。また図8に示す例において、検索装置100が予め画像データを保持し特徴点が抽出されている場合を説明するが、ユーザから取得リクエストが送信されたタイミングで、画像データベースの画像データの特徴点を抽出しても良い。
In the example illustrated in FIG. 8, the
図4ないし図8を参照して、本発明の実施の形態に係る特徴点出力装置1が出力した特徴点データを、画像検索に用いる場合を説明したがこれに限られず、顔認証システムなどの様々なシステムに適用しても良い。 With reference to FIGS. 4 to 8, the case where the feature point data output by the feature point output device 1 according to the embodiment of the present invention is used for image search has been described. However, the present invention is not limited to this. It may be applied to various systems.
(その他の実施の形態)
上記のように、本発明の実施の形態によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。
(Other embodiments)
As described above, the embodiments of the present invention have been described. However, it should not be understood that the descriptions and drawings constituting a part of this disclosure limit the present invention. From this disclosure, various alternative embodiments, examples, and operational techniques will be apparent to those skilled in the art.
例えば、本発明の実施の形態においては、画像データは静止画である場合を説明したが、動画データから取得した1フレームの画像データであっても良い。また、本発明の実施の形態に係る特徴点出力装置1が出力する特徴点データを用いて、入力された複数の写真について、同一人物が写っているか否かを判定しても良い。またこれ以外の活用方法も考えられる。 For example, in the embodiment of the present invention, the case where the image data is a still image has been described, but it may be one frame of image data acquired from moving image data. Moreover, you may determine whether the same person is reflected about the some inputted photo using the feature point data which the feature point output device 1 which concerns on embodiment of this invention outputs. Other ways of utilization are also conceivable.
本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。 It goes without saying that the present invention includes various embodiments not described herein. Therefore, the technical scope of the present invention is defined only by the invention specifying matters according to the scope of claims reasonable from the above description.
1 特徴点出力装置
10、110 中央処理制御装置
11 顔画像抽出手段
12 正規化手段
13 三次元マッピング手段
14 特徴点抽出手段
20、120 記憶装置
21 入力画像データ
22 顔画像データ
23 正規化顔画像データ
24 投影顔画像データ
25 特徴点データ
30、130 入出力制御装置
111 ユーザ画像取得手段
112 ユーザ特徴点登録手段
113 特徴点出力手段
114 画像人物対応付け手段
121 ユーザ画像データ
122 特徴点データベース
123 画像人物対応データ
124 画像データベース
200 ユーザ端末
300 検索システム
301 通信ネットワーク
DESCRIPTION OF SYMBOLS 1 Feature
Claims (9)
入力画像データの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた前記三次元顔モデルを投影変換した投影顔画像データを生成する三次元マッピング手段と、
前記投影顔画像データから、特徴点を抽出する特徴点抽出手段
を備え、
前記正規化顔画像データは、年齢変化に伴う顔器官の位置のデータベースに基づいて、前記三次元顔モデルの年齢に対応するように、前記入力画像データから顔器官の位置が変換されたデータであることを特徴とする特徴点出力装置。 A feature point output device that extracts a feature point of a person from input image data including the face of the person,
3D mapping means for projecting normalized face image data obtained by normalizing a face portion of input image data onto a 3D face model, and generating projected face image data obtained by projecting and converting the 3D face model in a predetermined orientation When,
Feature point extraction means for extracting feature points from the projected face image data ,
The normalized face image data is data obtained by converting the position of the facial organ from the input image data so as to correspond to the age of the three-dimensional face model based on the database of the position of the facial organ accompanying the age change. Oh feature point output device according to claim Rukoto.
ことを特徴とする請求項1に記載の特徴点出力装置。 The three-dimensional mapping means projects the normalized face image data onto a three-dimensional face model that matches the face direction of the normalized face image data, and then adjusts the three-dimensional face model to a predetermined direction. The feature point output device according to claim 1, wherein the feature point output device is a feature point output device.
前記特徴点抽出手段は、前記複数の投影顔画像データのそれぞれから、特徴点を抽出する
ことを特徴とする請求項1または2に記載の特徴点出力装置。 The three-dimensional mapping means changes the orientation to generate a plurality of projection face image data,
The feature point output device according to claim 1, wherein the feature point extraction unit extracts a feature point from each of the plurality of projection face image data.
コンピュータを、
前記入力画像データの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データを生成する三次元マッピング手段と、
前記投影顔画像データから、特徴点を抽出する特徴点抽出手段
として機能させ、
前記正規化顔画像データは、年齢変化に伴う顔器官の位置のデータベースに基づいて、前記三次元顔モデルの年齢に対応するように、前記入力画像データから顔器官の位置が変換されたデータであることを特徴とする特徴点出力プログラム。 A feature point output program for extracting feature points of a person from input image data including the face of the person,
Computer
Three-dimensional mapping means for projecting normalized face image data obtained by normalizing the face portion of the input image data onto a three-dimensional face model, and generating projection face image data obtained by projecting and transforming the three-dimensional face model in a predetermined orientation When,
Function as feature point extraction means for extracting feature points from the projected face image data ;
The normalized face image data is data obtained by converting the position of the facial organ from the input image data so as to correspond to the age of the three-dimensional face model based on the database of the position of the facial organ accompanying the age change. Oh feature point output program characterized Rukoto.
入力画像データの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた前記三次元顔モデルを投影変換した投影顔画像データを生成するステップと、
前記投影顔画像データから、特徴点を抽出するステップ
を備え、
前記正規化顔画像データは、年齢変化に伴う顔器官の位置のデータベースに基づいて、前記三次元顔モデルの年齢に対応するように、前記入力画像データから顔器官の位置が変換されたデータであることを特徴とする特徴点出力方法。 A feature point output method for extracting feature points of a person from input image data including the face of the person,
Projecting normalized face image data obtained by normalizing a face portion of input image data onto a three-dimensional face model, and generating projection face image data obtained by projecting and converting the three-dimensional face model in a predetermined orientation; and
Extracting a feature point from the projected face image data ,
The normalized face image data is data obtained by converting the position of the facial organ from the input image data so as to correspond to the age of the three-dimensional face model based on the database of the position of the facial organ accompanying the age change. feature point output wherein the Rukoto Oh.
入力画像データの対象ユーザの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた前記三次元顔モデルを投影変換した投影顔画像データから、前記対象ユーザの特徴点を抽出するユーザ特徴点登録手段と、
前記画像データベースから、前記対象ユーザの前記特徴点に基づいて、前記対象ユーザの顔部を含む画像データを検索する検索手段
を備え、
前記正規化顔画像データは、年齢変化に伴う顔器官の位置のデータベースに基づいて、前記三次元顔モデルの年齢に対応するように、前記入力画像データから顔器官の位置が変換されたデータであることを特徴とする検索装置。 A search device for searching image data of a target user from an image database including a plurality of image data,
From the projected face image data obtained by projecting the normalized face image data obtained by normalizing the face portion of the target user of the input image data onto the three-dimensional face model, and projecting and converting the three-dimensional face model according to a predetermined orientation. User feature point registration means for extracting user feature points;
Search means for searching image data including the face portion of the target user based on the feature point of the target user from the image database ,
The normalized face image data is data obtained by converting the position of the facial organ from the input image data so as to correspond to the age of the three-dimensional face model based on the database of the position of the facial organ accompanying the age change. Oh retrieval apparatus according to claim Rukoto.
前記検索手段は、前記画像データベースから、前記画像人物対応データにおいて前記対象ユーザの識別子に対応する画像データを検索する
ことを特徴とする請求項6に記載の検索装置。 Image data including the face portion of the target user is extracted from the plurality of image data in the image database based on the feature points, and the identifier of the target user is associated with the identifier of the extracted image data Further comprising image person association means for storing image person correspondence data,
The search device according to claim 6 , wherein the search means searches the image database for image data corresponding to the identifier of the target user in the image person correspondence data.
コンピュータを、
入力画像データの対象ユーザの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた前記三次元顔モデルを投影変換した投影顔画像データから、前記対象ユーザの特徴点を抽出するユーザ特徴点登録手段と、
前記画像データベースから、前記対象ユーザの前記特徴点に基づいて、前記対象ユーザの顔部を含む画像データを検索する検索手段
として機能させ、
前記正規化顔画像データは、年齢変化に伴う顔器官の位置のデータベースに基づいて、前記三次元顔モデルの年齢に対応するように、前記入力画像データから顔器官の位置が変換されたデータであることを特徴とする検索プログラム。 A search program for searching image data of a target user from an image database including a plurality of image data,
Computer
From the projected face image data obtained by projecting the normalized face image data obtained by normalizing the face portion of the target user of the input image data onto the three-dimensional face model, and projecting and converting the three-dimensional face model according to a predetermined orientation. User feature point registration means for extracting user feature points;
Based on the feature point of the target user from the image database, function as search means for searching for image data including the target user's face ,
The normalized face image data is data obtained by converting the position of the facial organ from the input image data so as to correspond to the age of the three-dimensional face model based on the database of the position of the facial organ accompanying the age change. Oh search program characterized by Rukoto.
入力画像データの対象ユーザの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた前記三次元顔モデルを投影変換した投影顔画像データから、前記対象ユーザの特徴点を抽出するステップと、
前記画像データベースから、前記対象ユーザの前記特徴点に基づいて、前記対象ユーザの顔部を含む画像データを検索するステップ
を備え、
前記正規化顔画像データは、年齢変化に伴う顔器官の位置のデータベースに基づいて、前記三次元顔モデルの年齢に対応するように、前記入力画像データから顔器官の位置が変換されたデータであることを特徴とする検索方法。 A search method for searching image data of a target user from an image database including a plurality of image data,
From the projected face image data obtained by projecting the normalized face image data obtained by normalizing the face portion of the target user of the input image data onto a three-dimensional face model, and projecting and converting the three-dimensional face model in a predetermined orientation Extracting user feature points;
Searching the image database for image data including the face portion of the target user based on the feature point of the target user ;
The normalized face image data is data obtained by converting the position of the facial organ from the input image data so as to correspond to the age of the three-dimensional face model based on the database of the position of the facial organ accompanying the age change. Search and wherein the Rukoto Oh.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013006122A JP6046501B2 (en) | 2013-01-17 | 2013-01-17 | Feature point output device, feature point output program, feature point output method, search device, search program, and search method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013006122A JP6046501B2 (en) | 2013-01-17 | 2013-01-17 | Feature point output device, feature point output program, feature point output method, search device, search program, and search method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014137719A JP2014137719A (en) | 2014-07-28 |
JP6046501B2 true JP6046501B2 (en) | 2016-12-14 |
Family
ID=51415181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013006122A Active JP6046501B2 (en) | 2013-01-17 | 2013-01-17 | Feature point output device, feature point output program, feature point output method, search device, search program, and search method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6046501B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101643573B1 (en) * | 2014-11-21 | 2016-07-29 | 한국과학기술연구원 | Method for face recognition, recording medium and device for performing the method |
KR102290392B1 (en) * | 2014-12-02 | 2021-08-17 | 삼성전자주식회사 | Method and apparatus for registering face, method and apparatus for recognizing face |
JP5950486B1 (en) * | 2015-04-01 | 2016-07-13 | みずほ情報総研株式会社 | Aging prediction system, aging prediction method, and aging prediction program |
KR101968437B1 (en) * | 2015-07-09 | 2019-04-11 | 미즈호 죠호 소켄 가부시키가이샤 | For example, the prediction prediction system, the prediction prediction method and the prediction prediction program |
KR102137328B1 (en) * | 2018-12-24 | 2020-07-23 | 주식회사 포스코아이씨티 | Face Recognition Service Providing System for Training Face Recognition Model Using Error Reduction Algorithm |
KR102184493B1 (en) * | 2018-12-31 | 2020-11-30 | 주식회사 포스코아이씨티 | System for Face Recognition Based On AI |
KR102137329B1 (en) * | 2018-12-24 | 2020-07-23 | 주식회사 포스코아이씨티 | Face Recognition System for Extracting Feature Vector Using Face Recognition Model Based on Deep Learning |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4653606B2 (en) * | 2005-05-23 | 2011-03-16 | 株式会社東芝 | Image recognition apparatus, method and program |
JP4525523B2 (en) * | 2005-08-23 | 2010-08-18 | コニカミノルタホールディングス株式会社 | Authentication system, authentication method and program |
JP4569670B2 (en) * | 2008-06-11 | 2010-10-27 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
JP5206366B2 (en) * | 2008-11-27 | 2013-06-12 | カシオ計算機株式会社 | 3D data creation device |
JP5618593B2 (en) * | 2010-03-31 | 2014-11-05 | セコム株式会社 | Face image processing device |
-
2013
- 2013-01-17 JP JP2013006122A patent/JP6046501B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014137719A (en) | 2014-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6046501B2 (en) | Feature point output device, feature point output program, feature point output method, search device, search program, and search method | |
US11501574B2 (en) | Multi-person pose recognition method and apparatus, electronic device, and storage medium | |
JP6850291B2 (en) | Methods and devices for minimizing false positives in face recognition applications | |
JP5134664B2 (en) | Annotation device | |
CN111788572A (en) | Method and system for face recognition | |
WO2019153504A1 (en) | Group creation method and terminal thereof | |
US20100250588A1 (en) | Image searching system and image searching method | |
CN111612842B (en) | Method and device for generating pose estimation model | |
CN109754464B (en) | Method and apparatus for generating information | |
KR20180097915A (en) | Method for generating personalized three dimension face model and apparatus therefor | |
CN103824269A (en) | Face special-effect processing method and system | |
CN112036284B (en) | Image processing method, device, equipment and storage medium | |
KR102464271B1 (en) | Pose acquisition method, apparatus, electronic device, storage medium and program | |
JP7337428B1 (en) | CONTROL METHOD, CONTROL DEVICE, AND RECORDING MEDIUM FOR INTERACTIVE THREE-DIMENSIONAL REPRESENTATION OF OBJECT | |
CN105096353A (en) | Image processing method and device | |
CN112598780A (en) | Instance object model construction method and device, readable medium and electronic equipment | |
WO2014026021A1 (en) | Systems and methods for image-based searching | |
CN111881740A (en) | Face recognition method, face recognition device, electronic equipment and medium | |
JP2014102746A (en) | Subject recognition device and subject recognition program | |
CN111814811B (en) | Image information extraction method, training method and device, medium and electronic equipment | |
WO2022016803A1 (en) | Visual positioning method and apparatus, electronic device, and computer readable storage medium | |
JP2011223250A (en) | Photographing assisting apparatus, photographing assisting method, and program used therewith | |
CN109376581B (en) | Object relation recognition method and device, storage medium and electronic device | |
CN117218398A (en) | Data processing method and related device | |
CN111967515B (en) | Image information extraction method, training method and device, medium and electronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6046501 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |