JP4476424B2

JP4476424B2 - Image processing apparatus and method, and program recording medium

Info

Publication number: JP4476424B2
Application number: JP2000103659A
Authority: JP
Inventors: 孝裕大橋; 孝明永井
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2000-04-05
Filing date: 2000-04-05
Publication date: 2010-06-09
Anticipated expiration: 2020-04-05
Also published as: JP2001291108A

Description

【０００１】
【発明の属する技術分野】
この発明は、画像データを基に顔や物品の方向を検出する画像処理装置およびその方法ならびにプログラム記録媒体に関する。
【０００２】
【従来の技術】
顔の画像を基に認識処理を行って人を識別したり表情を読み取ったりするためには、顔の方向を検出することが重要となるが、自律移動ロボット等が人間環境内を移動する場合や人間環境内に据え付けられたカメラで人間の顔を撮像する場合などには、入力画像上の顔の初期方向がわからないという問題がある。この問題を解決するため、入力される画像を基に顔の方向を検出する技術が求められている。
【０００３】
図４は、従来技術による顔方向検出のためのデータの流れを示すデータ構成図である。この従来技術においては、まず予め認識対象個人の顔画像データを取得し、加工して、蓄積しておく。図４において、符号９１は、入力手段によって入力された認識対象個人の正面顔画像データである。また、９２は正面顔画像データ９１を基に抽出される特徴点データである。特徴点データ９２は、目や鼻や耳や口や眉毛などといった顔の構成要素の形状や配置を表すデータである。また、９３は正面顔画像データ９１をモザイク処理することによって得られる低周波正面顔画像データである。
【０００４】
また、９４は予め用意されている標準顔形状モデルデータであり、この標準顔形状モデルデータ９４は標準的な顔の３次元形状を表している。そして９５は顔モデルデータであり、この顔モデルデータ９５は、標準顔形状モデルデータ９４が表す顔上に特徴点データ９２または低周波正面顔画像データ９３を用いてテクスチャマッピング処理を行うことによって得られる。よって、顔モデルデータ９５には、標準顔形状モデルデータ９４から受け継いだ３次元形状の情報が含まれている。次に、９６は角度別顔画像データであり、この角度別顔画像データ９６は、顔モデルデータ９５が表す３次元顔を任意の向きに回転させて投影することによって得られる。
【０００５】
一方、９７は入力手段によって新規に入力される上記認識対象個人の入力顔画像データであり、この入力顔画像データ９７における顔の向きは未知である。そして、この入力顔画像データ９７を複数の角度別顔画像データ９６と比較し、最も相関度の高い角度別顔画像データ９６を決定することによって新規に入力された顔の方向を検出する。
【０００６】
【発明が解決しようとする課題】
上述した従来手法では、予め認識対象個人の正面顔画像を取得しておくことを前提としている。また、予め画像を取得した個人と新規に画像入力される個人とが異なる場合、両者間の顔の特徴の違いから、新規入力された画像の顔方向を検出できない可能性あるいは方向検出精度が落ちる可能性がある。上記のような前提条件は、顔認識装置の利用範囲を狭くしてしまうという問題がある。
【０００７】
本発明は、このような事情を考慮してなされたものであり、予め顔画像データを取得してなくとも、入力される不特定個人の顔画像からその顔方向を検出することのできる画像処理装置およびその方法ならびにプログラム記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の課題を解決するために、請求項１に記載の発明は、顔の方向の検出のための画像処理装置であって、複数のサンプル顔画像を基に平均顔画像を生成する平均顔データ作成手段と、前記平均顔画像を、顔の形状を表す標準顔形状モデルにマッピングすることにより平均顔３次元モデルを生成する平均顔３次元モデル作成手段と、前記平均顔３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて記憶するデータベース作成手段とを備えることを特徴とする画像処理装置を要旨とする。
【０００９】
また、請求項２に記載の発明においては、前記平均顔画像を平滑化処理する平滑化処理手段を備え、前記平均顔３次元モデル作成手段は、平滑化処理された前記平均顔画像をマッピングすることを特徴とする。
なお、ここで「平滑化処理」とは、画像をぼかすことにより画像の特徴を緩和する処理を言う。この平滑化処理の具体例としては、複数の隣接領域画像繋ぎ合わせるモザイク処理や、メジアン（median）フィルタや、局所平均フィルタなどを挙げることができるが、これらに限定されない。
【００１０】
また、請求項３に記載の発明は、顔の方向の検出のための画像処理装置であって、入力された入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理手段と、複数のサンプル顔画像の平均顔画像を基に作成され、視点の角度と関連付けて記憶されている複数の角度別平均顔画像と、前記低周波入力顔画像との比較により、前記入力顔画像における顔の角度を決定する顔方向判別手段とを備えることを特徴とする画像処理装置を要旨とする。
なお、ここで「低周波顔画像」とは、モザイク処理や、メジアンフィルタなどの各種平滑化処理や、フーリエ変換による高周波成分除去などにより平滑化された画像を言う。
【００１１】
また、請求項４に記載の発明は、顔の方向の検出のための画像処理装置であって、入力された入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理手段と、複数のサンプル顔画像から生成される平均顔画像を顔の形状を表す標準顔形状モデルにマッピングすることにより得られる平均顔３次元モデルを基に、前記平均顔３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて生成する角度別平均顔画像データ生成手段と、前記低周波入力顔画像と前記角度別平均化顔画像との比較により、前記入力顔画像における顔の角度を決定する顔方向判別手段とを備えることを特徴とする画像処理装置を要旨とする。
【００１２】
また、請求項５に記載の発明は、顔の方向の検出のための画像処理方法であって、複数のサンプル顔画像を基に平均顔画像を生成する平均顔データ作成過程と、この平均顔データ作成過程で生成された前記平均顔画像を、顔の形状を表す標準顔形状モデルにマッピングすることにより平均顔モデルを生成する平均顔３次元モデル作成過程と、この平均顔３次元モデルを基に、前記平均顔３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて記憶するデータベース作成過程とを有することを特徴とする画像処理方法を要旨とする。
【００１３】
また、請求項６に記載の発明では、前記平均顔画像を平滑化処理する平滑化処理過程を有し、前記平均顔３次元モデル作成過程においては、前記平滑化処理過程で平滑化処理された前記平均顔画像を標準顔形状モデルにマッピングすることを特徴とする。
【００１４】
また、請求項７に記載の発明は、顔の方向の検出のための画像処理方法であって、入力された入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理過程と、複数のサンプル顔画像の平均顔画像を基に作成され、視点の角度と関連付けて記憶されている複数の角度別平均顔画像と、前記平滑化処理過程で生成された前記低周波入力顔画像との比較により、前記入力顔画像における顔の角度を決定する顔方向判別過程とを有することを特徴とする画像処理方法を要旨とする。
【００１５】
また、請求項８に記載の発明は、顔の方向の検出のための画像処理方法であって、入力された入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理過程と、複数のサンプル顔画像から生成される平均顔画像を顔の形状を表す標準顔形状モデルにマッピングすることにより得られる平均顔３次元モデルを基に、前記平均顔３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて生成する角度別平均顔画像データ生成過程と、前記低周波入力顔画像と前記角度別平均化顔画像との比較により、前記入力顔画像における顔の角度を決定する顔方向判別過程とを備えることを特徴とする画像処理方法を要旨とする。
【００１６】
また、請求項９に記載の発明は、複数のサンプル顔画像を基に平均顔画像を生成する平均顔データ作成過程と、この平均顔データ作成過程で生成された前記平均顔画像を、顔の形状を表す標準顔形状モデルにマッピングすることにより平均顔３次元モデルを生成する平均顔３次元モデル作成過程と、この平均顔３次元モデルを基に、前記平均顔３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて記憶するデータベース作成過程とをコンピュータに実行させることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体を要旨とする。
【００１７】
また、請求項１０に記載の発明では、前記平均顔画像を平滑化処理する平滑化処理過程をコンピュータに実行させ、前記平均顔３次元モデル作成過程においては、前記平滑化処理過程で平滑化処理された前記平均顔画像をマッピングする処理をコンピュータに実行させることを特徴とする。
【００１８】
また、請求項１１に記載の発明は、入力された入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理過程と、複数のサンプル顔画像の平均顔画像を基に作成され、視点の角度と関連付けて記憶されている複数の角度別平均顔画像と、前記平滑化処理過程で生成された前記低周波入力顔画像との比較により、前記入力顔画像における顔の角度を決定する顔方向判別過程とをコンピュータに実行させることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体を要旨とする。
【００１９】
また、請求項１２に記載の発明は、入力された入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理過程と、複数のサンプル顔画像から生成される平均顔画像を顔の形状を表す標準顔形状モデルにマッピングすることにより得られる平均顔３次元モデルを基に、前記平均顔３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて生成する角度別平均顔画像データ生成過程と、前記低周波入力顔画像と前記角度別平均化顔画像との比較により、前記入力顔画像における顔の角度を決定する顔方向判別過程とをコンピュータに実行させることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体を要旨とする。
【００２０】
また、請求項１３に記載の発明は、物品の方向の検出のための画像処理装置であって、複数のサンプル物品画像を基に平均物品画像を生成する平均物品データ作成手段と、前記平均物品画像を、物品の形状を表す標準物品形状モデルにマッピングすることにより平均物品３次元モデルを生成する平均物品３次元モデル作成手段と、前記平均物品３次元モデルに対する視点の角度と、各々の角度毎の視点から前記平均物品３次元モデルを見たときの角度別平均物品画像とを関連付けて生成するデータベース作成手段とを備えることを特徴とする画像処理装置を要旨とする。
【００２１】
また、請求項１４に記載の発明は、物品の方向の検出のための画像処理装置であって、入力された入力物品画像を平滑化処理することによって低周波入力物品画像を生成する平滑化処理手段と、複数のサンプル物品画像の平均物品画像を基に作成され、視点の角度と関連付けて記憶されている複数の角度別平均物品画像と、前記低周波入力物品画像との比較により、前記入力物品画像における物品の向きの角度を決定する物品方向判別手段とを備えることを特徴とする画像処理装置を要旨とする。
【００２２】
【発明の実施の形態】
以下、図面を参照しこの発明の一実施形態について説明する。図１は、同実施形態による画像処理装置の機能構成を示すブロック図である。図１において、符号２０は顔画像入力手段、２１はモザイク処理手段（平滑化処理手段）、２２は顔方向判別手段である。また、１１は平均顔データ作成手段、１２はモザイク処理手段（平滑化処理手段）、１３は３次元顔モデル作成手段、１４は３次元マッピング手段（平均顔３次元モデル作成手段）、１５は平均顔３次元モデル任意方向回転手段、１６は２次元データベース作成手段（データベース作成手段）である。
【００２３】
図２は、同画像処理装置におけるデータの流れを示すデータ構成図である。図２において、符号３１は複数の個人の正面顔をサンプルとして撮像して得られたサンプル正面顔画像データ、３２はサンプル正面顔画像データ３１を基にモザイク処理等を経て生成された平均正面顔画像データ、３３は平均正面顔画像データ３２を基に生成された低周波平均正面顔画像データである。
【００２４】
また、３４は予め用意されている標準顔形状モデルデータであり、この標準顔形状モデルデータ３４は標準的な顔の３次元形状を表している。そして３５は平均顔３次元モデルデータであり、この平均顔３次元モデルデータ３５は、標準顔形状モデルデータ３４が表す顔上に平均正面顔画像データ３２または低周波平均正面顔画像データ３３を用いてテクスチャマッピング処理を行うことによって得られる。よって、平均顔３次元モデルデータ３５には、標準顔形状モデルデータ３４から受け継いだ３次元形状の情報が含まれている。次に、３６は角度別平均顔画像データであり、この角度別顔画像データ３６は、平均顔３次元モデルデータ３５が表す３次元モデルを所定の角度毎に回転させて投影することによって得られる。また４１は新規に入力される入力顔画像データであり、４２は入力顔画像データ４１を基にモザイク処理等を経て生成される低周波入力顔画像データである。具体的には、入力画像は、自動車に搭載されてドライバーを撮影するカメラや、自律移動型ロボットに搭載されたカメラにより得られた未知の顔の画像データである。
【００２５】
次に、本画像処理装置におけるデータベース生成過程および顔方向検出過程それぞれの処理の流れについて図１および図２をもとに説明する。
【００２６】
（１）データベース作成過程
まず平均顔データ作成手段１１が、複数のサンプル正面顔画像データ３１を基に画像の正規化を行う。ここで画像の正規化とは、複数の画像のサイズを揃え、画像上の顔の位置を揃える、あるいは照明条件による画像のばらつきを抑えるための明度の正規化などといった処理である。ここでは、正規化後のサンプル画像数をＭ、それぞれのサンプル画像のサイズを縦横それぞれｉピクセルおよびｊピクセルとする。そして、Ｍ個のサンプル画像をそれぞれ
【数１】

で表し（但し、ｍはサンプル番号であり、１≦ｍ≦Ｍ）、各々のサンプル画像
【数２】

の（ｉ×ｊ）個のピクセル値を
【数３】

と表すものとする。ここで、ピクセル値としては各ピクセルの輝度（濃度）値を用いる。あるいは、輝度値の代わりに色情報（例えばＲＧＢ３原色の値）を用いても良い。なお、この正規化の段階でサンプル画像の顔領域以外の背景色を揃える処理を行っても良い。
【００２７】
そして、平均顔データ作成手段１１は正規化された複数の画像を平均化する処理を行い、平均正面顔画像データ３２を生成する。ここで平均化とは、上記Ｍ個のサンプル画像を基に平均画像を生成する処理であり、平均画像
【数４】

の定義は、次式で表される。
【数５】

次いで、モザイク処理手段１２は、この平均正面顔画像データ３２に、必要に応じてモザイク処理を施し、低周波平均正面顔画像データ３３を生成する。
【００２８】
次に、３次元マッピング手段１４は、上記の平均正面顔画像データ３２または低周波平均正面顔画像データ３３を、予め３次元顔モデル作成手段１３によって作成された標準顔形状モデルデータ３４が表す３次元モデルの表面に貼り付けるテクスチャマッピング処理を行い、平均顔３次元モデルデータ３５を生成する。なおこの際、後頭部に相当する部分にマッピングするテクスチャデータとしては、サンプル正面顔画像データ３１の撮像時に同時に撮像した後頭部画像を平均化したものを用いても良いし、予め用意した標準的な後頭部画像を用いても良い。
【００２９】
最後に、平均顔３次元モデル任意方向回転手段１５は、上記の平均顔３次元モデルデータ３５が表す３次元顔モデルを所定角度ステップで回転させ各々のステップにおいて一定方向から投射して得られる角度別平均顔画像データ３６を、２次元データベース作成手段１６がデータベースに格納する。なお、ここで回転軸は１種類に限らず、複数の回転軸それぞれについての回転を複合させ各々の軸毎の所定角度ステップの組み合わせで角度別平均顔画像データを作成しても良い。また、回転の方向は、水平方向、前後方向、左右方向等、任意である。
【００３０】
（２）顔方向検出過程
この顔方向検出過程においては、まず、顔画像入力手段２０から取り込まれた未知の画像を基に、エッジ抽出処理によって得られる物体エッジ形状情報や色情報等を利用して顔領域を抽出し、また顔領域画像のサイズを正規化することによって入力顔画像データ４１を得る。なおこの際、データベース作成過程における場合と同様に、背景色を揃える処理を行っても良い。
【００３１】
次に、モザイク処理手段２１は、上記入力顔画像データ４１にモザイク処理を施して、低周波入力顔画像データ４２を出力する。そして、顔方向判別手段２２は、低周波入力顔画像データ４２と前述の角度別平均顔画像データ３６における各角度のデータとを比較し、最も相関度の高い画像データを決定することにより、入力された顔画像の方向を判別する。
【００３２】
なお、相関度算出方法の一例は、次の通りである。低周波入力顔画像データ４２の各ピクセルｆ（ｘ，ｙ）と、角度別平均顔画像データ３６における任意角度の画像の各ピクセルｔ（ｘ，ｙ）について画像間の非類似度を求める。非類似度は、次の数式のいずれかなどによって求めることができる。
【数６】

【数７】

【数８】

非類似度の値が小さいほど、２つの画像の相関度が高くなる。本実施例では、あらゆる方向に対して一定間隔（例えば、１０度間隔）で角度別平均顔画像データ３６を作成し、それらと入力画像との相関度計算によって認識を行うが、車両ドライバーの顔向き検知など、予め顔の動く範囲がある程度特定できる場合には、認識範囲を狭くしたり、間隔を１０度間隔から例えば５度間隔にするなどして、精度を高めることもできる。逆に、間隔を大きくすることで顔向き検知の精度を犠牲にする代わりにシステムの高速化を図ることも可能である。また、相関度計算をする角度を、上記のように一定間隔で連続的に行うのではなく、遺伝的アルゴリズムなどの利用により離散的に行うことも可能である。
【００３３】
次に、本発明による顔方向検出精度向上の原理について説明する。図３は、顔画像の特徴空間におけるデータの分布を示す概念図である。なお、この図３では多次元の特徴空間を抽象し２次元的に表している。図３において、符号１Ａ，２Ａ，３Ａ，４Ａ，５Ａはそれぞれ角度別平均顔画像データにおける５つの角度のデータの位置である。また、１Ｒ，２Ｒ，３Ｒ，４Ｒ，５Ｒは、それぞれの角度におけるサンプル顔画像の分布範囲である。また、１Ｓ，２Ｓ，３Ｓ，４Ｓ，５Ｓは、それぞれの角度における特定のサンプル顔画像の位置である。
【００３４】
ここで、Ｕが入力顔画像データの位置であるとすると、このＵに位置する入力顔画像データは、本空間内距離において、１Ａ〜５Ａのうち４Ａと最も近く、従って４Ａに位置する画像との相関度が最も高いと判定され、顔方向が決定される。一方、このＵをサンプル画像１Ｓ〜５Ｓの各位置と比較した場合には３Ｓが最も近く、Ｕの顔方向は３Ａと判定されることになり、前述の判定結果とは異なった結果が出力されることになる。ここで仮に、入力顔画像Ｕとサンプル画像３Ｓの人物が同一人物であった場合、Ｕの顔方向はむしろ３Ｓ（３Ａ）のほうが精度の高い解であるとも言えるので、Ｕに対する顔方向認識結果において、４Ａが正答、３Ａが誤答であると一概に決定することはできない。しかし、実際の顔方向認識処理過程においては、入力顔画像の人物が、装置の平均顔モデルデータ作成時のサンプル中に含まれているとは限らない。そのため、サンプル顔画像が持つ個人的顔特徴に過度の影響を受けること無く、より一般的な解（顔方向）を出力する手法が必要となる。本発明によれば、未知画像が入力されたときに、大人数の平均顔を基にした角度別顔画像データと比較することによって顔向き判定を行うため、特定人物サンプル画像との比較を行う場合よりも、より普遍性のある顔向き認識結果を得ることができる。また、膨大な人数のサンプルそれぞれに対し、各顔方向（顔向き）ごとの顔画像を撮影してデータベースに保持しておく必要もないことから、データベース作成に必要とされる記憶容量が少なくて済む効果もある。
【００３５】
また、モザイク処理手段２１が、入力顔画像データ４１にモザイク処理を行って得られる低周波入力顔画像データ４２を用いて角度別平均顔画像データ３６と比較するので、顔の個人差の影響を受けずに顔方向を検出することができる。
また、モザイク処理手段１２が平均正面顔画像データ３２にモザイク処理を行って得られる低周波平均正面顔画像データ３３を用いて平均顔３次元モデルデータ３５を生成する場合には、さらに顔の個人差の影響を受けずに顔方向を検出することができる。
【００３６】
なお、上記実施形態では、予め角度別平均顔画像データを生成してデータベースに保持しておき、このデータを取り出して入力画像と比較するものとしているが、角度別平均顔画像データをデータベースから読み出す代わりにその都度計算を行うことにより任意角度から見た平均顔画像データを生成して入力画像と比較するようにしても良い。
【００３７】
そのためには、例えば、入力顔画像を平滑化処理することによって低周波入力顔画像を生成する平滑化処理手段と、平均顔画像を標準顔形状モデルにマッピングして得られる平均顔３次元モデルを基にこの平均顔３次元モデルに対する視点の角度と各々の角度毎の視点から前記平均顔３次元モデルを見たときの角度別平均顔画像とを関連付けて生成する角度別平均顔画像データ生成手段と、低周波入力顔画像と角度別平均化顔画像との比較により入力顔画像における顔の角度を決定する顔方向判別手段とによって画像処理装置を構成する。
これにより、より少ない記憶容量で済むとともに、回転角度のステップを動的に変えることも可能となる。
【００３８】
なお、上述の画像処理装置は、内部にコンピュータを用いて構成しても良い。この場合、上述した平均顔データ作成、モザイク処理、３次元顔モデル作成、３次元マッピング、平均顔任意方向３次元モデル作成、２次元データベース作成、顔方向判別等の各過程またはこれらの過程の一部は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気ハードディスク、半導体メモリ等をいう。
【００３９】
以上、人間の顔を具体例として、その方向を検出するための構成を説明したが、対象は人間の顔に限定されず、全体の形状や表面のデザインや色等がある程度定まっている一般的な物品の向きの判定に本発明を適用しても良い。物品とは、例えば携帯型電話端末その他であり、個別のサンプル物品の平均画像を用いる本発明の適用により、これらの物品の向きを認識する画像処理装置を提供することが可能となる。また、このような画像処理装置をロボット等における認識処理に応用しても良い。
【００４０】
【発明の効果】
以上説明したように、この発明によれば、被験者（入力画像の人物）の正面顔画像を、サンプルデータとしてデータベース内に保持していなく、且つ、初期入力画像が正面顔画像とは限らない（向きが判ってない）場合でも、人物の顔方向検出が可能となる。
【００４１】
また、この発明によれば、複数のサンプル顔画像を基に平均顔画像を生成するため、そのような平均顔画像を用いることによって、入力される画像が未知の人の顔画像であってもその人の顔の方向を算出することが可能となる。
【００４２】
また、この発明によれば、平均顔をモザイク処理することによって顔の個人差の影響を少なくすることができるため、入力された顔画像との比較、マッチングが容易になる。また、さらに、入力される顔画像をモザイク処理することによって顔の個人差の影響を少なくすることができるため、平均顔との比較、マッチングが容易になる。
【００４３】
また、この発明によれば、顔以外の一般の物品についても同様に扱えるため、個別の物品の正面画像をサンプルデータとしてデータベース内に保持していなく、且つ、初期入力画像が正面画像とは限らない場合でも、物品の方向検出が可能となる。
【図面の簡単な説明】
【図１】この発明の一実施形態による画像処理装置の機能構成を示すブロック図である。
【図２】同実施形態による顔方向検出のためのデータの流れを示すデータ構成図である。
【図３】同実施形態を用いて顔方向検出を行う場合の特徴空間における分布を示すグラフである。
【図４】従来技術による顔方向検出のデータの流れを示すデータ構成図である。
【符号の説明】
１１平均顔データ作成手段
１２モザイク処理手段
１３３次元顔モデル作成手段
１４３次元マッピング手段
１５平均顔３次元モデル任意方向回転手段
１６２次元データベース作成手段
２０顔画像入力手段
２１モザイク処理手段
２２顔方向判別手段
３１サンプル正面顔画像データ
３２平均正面顔画像データ
３３低周波平均正面顔画像データ
３４標準顔形状モデルデータ
３５平均顔３次元モデルデータ
３６角度別平均顔画像データ
４１入力顔画像データ
４２低周波入力顔画像データ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and method for detecting the direction of a face or an article based on image data, and a program recording medium.
[0002]
[Prior art]
In order to perform recognition processing based on face images to identify people and read facial expressions, it is important to detect the direction of the face, but when autonomous mobile robots move in the human environment When a human face is imaged with a camera installed in a human environment, there is a problem that the initial direction of the face on the input image is unknown. In order to solve this problem, a technique for detecting the face direction based on an input image is required.
[0003]
FIG. 4 is a data configuration diagram showing a flow of data for face direction detection according to the prior art. In this prior art, first, face image data of a recognition target individual is acquired, processed, and accumulated. In FIG. 4, reference numeral 91 is front face image data of the recognition target individual input by the input means. Reference numeral 92 denotes feature point data extracted based on the front face image data 91. The feature point data 92 is data representing the shape and arrangement of facial components such as eyes, nose, ears, mouth, and eyebrows. Reference numeral 93 denotes low-frequency front face image data obtained by performing mosaic processing on the front face image data 91.
[0004]
Reference numeral 94 is standard face shape model data prepared in advance, and this standard face shape model data 94 represents the standard three-dimensional shape of the face. Reference numeral 95 denotes face model data. The face model data 95 is obtained by performing texture mapping processing on the face represented by the standard face shape model data 94 using the feature point data 92 or the low-frequency front face image data 93. It is done. Therefore, the face model data 95 includes information on the three-dimensional shape inherited from the standard face shape model data 94. Next, reference numeral 96 denotes angle-specific face image data, and the angle-specific face image data 96 is obtained by rotating and projecting the three-dimensional face represented by the face model data 95 in an arbitrary direction.
[0005]
On the other hand, 97 is the input face image data of the individual to be recognized newly input by the input means, and the face orientation in the input face image data 97 is unknown. Then, the input face image data 97 is compared with a plurality of face image data 96 by angle, and the face image data 96 by angle having the highest correlation is determined to detect the direction of the newly input face.
[0006]
[Problems to be solved by the invention]
The conventional method described above is based on the premise that a front face image of a recognition target individual is acquired in advance. In addition, when the person who acquired the image in advance is different from the person who is newly input, the possibility that the face direction of the newly input image cannot be detected or the direction detection accuracy decreases due to the difference in facial features between the two. there is a possibility. The above-mentioned preconditions have a problem of narrowing the use range of the face recognition device.
[0007]
The present invention has been made in consideration of such circumstances, and image processing capable of detecting the face direction from an input face image of an unspecified individual without acquiring face image data in advance. An object is to provide an apparatus, a method thereof, and a program recording medium.
[0008]
[Means for Solving the Problems]
In order to solve the above problem, the invention according to claim 1 is an image processing device for detecting a face direction, and generates average face data based on a plurality of sample face images. Creating means; mean face three-dimensional model creating means for generating an average face three-dimensional model by mapping the average face image to a standard face shape model representing a face shape; and a viewpoint of the average face three-dimensional model. A gist is an image processing apparatus comprising: a database creating unit that stores an angle and an average face image classified by angle when the average face three-dimensional model is viewed from a viewpoint for each angle. .
[0009]
The invention according to claim 2 further comprises a smoothing processing means for smoothing the average face image, and the average face three-dimensional model creating means maps the smoothed average face image. It is characterized by that.
Here, the “smoothing process” refers to a process of relaxing the image characteristics by blurring the image. Specific examples of the smoothing process include, but are not limited to, a mosaic process that connects a plurality of adjacent area images, a median filter, and a local average filter.
[0010]
The invention according to claim 3 is an image processing apparatus for detecting a face direction, and a smoothing process for generating a low-frequency input face image by smoothing an input face image that has been input. And the input by comparing the low-frequency input face image with a plurality of average face images by angle created based on an average face image of the plurality of sample face images and stored in association with the angle of the viewpoint. A gist of the present invention is an image processing apparatus comprising a face direction determination unit that determines a face angle in a face image.
Here, the “low frequency face image” refers to an image smoothed by mosaic processing, various smoothing processes such as a median filter, high frequency component removal by Fourier transform, and the like.
[0011]
According to a fourth aspect of the present invention, there is provided an image processing apparatus for detecting the direction of a face, and a smoothing process for generating a low-frequency input face image by smoothing the input face image that has been input. And an average face three-dimensional model obtained by mapping an average face image generated from a plurality of sample face images to a standard face shape model representing the shape of the face. Angle-specific average face image data generating means for generating an angle and an average face image for each angle when the average face three-dimensional model is viewed from the viewpoint for each angle, the low-frequency input face image, and the The gist of the present invention is an image processing apparatus comprising a face direction determining unit that determines a face angle in the input face image by comparison with an angle-based averaged face image.
[0012]
According to a fifth aspect of the present invention, there is provided an image processing method for detecting a face direction, an average face data generation process for generating an average face image based on a plurality of sample face images, and the average face An average face three-dimensional model generation process for generating an average face model by mapping the average face image generated in the data generation process to a standard face shape model representing the shape of the face, and based on the average face three-dimensional model And a database creation process for storing the angle of the viewpoint with respect to the average face three-dimensional model and the average face image for each angle when the average face three-dimensional model is viewed from the viewpoint for each angle. An image processing method characterized by
[0013]
The invention according to claim 6 further includes a smoothing process for smoothing the average face image. In the average face three-dimensional model creation process, the smoothing process is performed in the smoothing process. The average face image is mapped to a standard face shape model.
[0014]
The invention according to claim 7 is an image processing method for detecting a face direction, and a smoothing process for generating a low-frequency input face image by smoothing an input face image that has been input. A plurality of angle-specific average face images created on the basis of the average face image of the plurality of sample face images and stored in association with viewpoint angles, and the low-frequency input generated in the smoothing process The gist of the present invention is an image processing method characterized by comprising a face direction discrimination process for determining a face angle in the input face image by comparison with a face image.
[0015]
The invention according to claim 8 is an image processing method for detecting a face direction, and a smoothing process for generating a low-frequency input face image by smoothing an input face image that has been input. Based on the process and the average face three-dimensional model obtained by mapping the average face image generated from the plurality of sample face images to the standard face shape model representing the face shape, the viewpoint of the average face three-dimensional model is changed. An angle-specific average face image data generation process for generating an angle by associating an angle with an average face image for each angle when the average face three-dimensional model is viewed from the viewpoint for each angle, the low-frequency input face image, and the The gist of the present invention is an image processing method comprising a face direction discrimination process for determining a face angle in the input face image by comparison with an averaged face image for each angle.
[0016]
According to the ninth aspect of the present invention, an average face data generation process for generating an average face image based on a plurality of sample face images, and the average face image generated in the average face data generation process, An average face three-dimensional model creation process for generating an average face three-dimensional model by mapping to a standard face shape model representing a shape, and a viewpoint angle with respect to the average face three-dimensional model based on the average face three-dimensional model A computer-readable recording of a program characterized by causing a computer to execute a database creation process for associating and storing an average face image for each angle when the average face three-dimensional model is viewed from a viewpoint for each angle The gist of possible recording media.
[0017]
The invention according to claim 10 causes a computer to execute a smoothing process for smoothing the average face image. In the average face three-dimensional model creation process, a smoothing process is performed in the smoothing process. The computer is caused to execute a process of mapping the average face image.
[0018]
The invention according to claim 11 is based on a smoothing process for generating a low-frequency input face image by smoothing an input face image and an average face image of a plurality of sample face images. A face angle in the input face image is obtained by comparing the plurality of average face images by angle and stored in association with the viewpoint angle and the low-frequency input face image generated in the smoothing process. The gist of the present invention is a computer-readable recording medium on which a program is recorded, which causes a computer to execute a face direction determination process for determining a face.
[0019]
The invention according to claim 12 is a smoothing process for generating a low-frequency input face image by smoothing an input face image, and an average face image generated from a plurality of sample face images. Based on the average face three-dimensional model obtained by mapping the face to the standard face shape model representing the face shape, the angle of the viewpoint with respect to the average face three-dimensional model, and the average face three-dimensional from the viewpoint for each angle The input face image is obtained by comparing the average face image data for each angle generated in association with the average face image for each angle when the model is viewed, and the low-frequency input face image and the average face image for each angle. The gist of the present invention is a computer-readable recording medium on which a program is recorded, which causes a computer to execute a face direction determination process for determining a face angle.
[0020]
The invention according to claim 13 is an image processing apparatus for detecting the direction of an article, the average article data creating means for generating an average article image based on a plurality of sample article images, and the average article Mean article three-dimensional model creating means for generating an average article three-dimensional model by mapping an image to a standard article shape model representing the shape of the article, a viewpoint angle with respect to the average article three-dimensional model, and each angle The gist of the image processing apparatus is characterized by comprising database creation means for generating an average article image for each angle in association with the average article three-dimensional model viewed from the viewpoint.
[0021]
The invention according to claim 14 is an image processing apparatus for detecting the direction of an article, and a smoothing process for generating a low-frequency input article image by smoothing an input article image that has been input. The input by comparing the low-frequency input article image with a plurality of average article images for each angle created on the basis of the average article image of the means and a plurality of sample article images and stored in association with the angle of the viewpoint The gist of the image processing apparatus includes an article direction discriminating unit that determines an angle of an article direction in the article image.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus according to the embodiment. In FIG. 1, reference numeral 20 denotes a face image input means, 21 denotes a mosaic processing means (smoothing processing means), and 22 denotes a face direction determination means. Further, 11 is an average face data creating means, 12 is a mosaic processing means (smoothing processing means), 13 is a 3D face model creating means, 14 is a 3D mapping means (average face 3D model creating means), and 15 is an average. A face 3D model arbitrary direction rotating means 16 is a 2D database creating means (database creating means).
[0023]
FIG. 2 is a data configuration diagram showing a data flow in the image processing apparatus. In FIG. 2, reference numeral 31 is sample front face image data obtained by imaging a plurality of individual front faces as samples, and 32 is an average front face generated through mosaic processing or the like based on the sample front face image data 31. Image data 33 is low-frequency average front face image data generated based on the average front face image data 32.
[0024]
Reference numeral 34 denotes standard face shape model data prepared in advance, and this standard face shape model data 34 represents a standard three-dimensional shape of the face. Reference numeral 35 denotes average face three-dimensional model data. The average face three-dimensional model data 35 uses the average front face image data 32 or the low-frequency average front face image data 33 on the face represented by the standard face shape model data 34. It is obtained by performing texture mapping processing. Therefore, the average face three-dimensional model data 35 includes information on the three-dimensional shape inherited from the standard face shape model data 34. Next, the angle-specific face image data 36 is obtained by rotating and projecting the three-dimensional model represented by the average face three-dimensional model data 35 for each predetermined angle. . 41 is newly input face image data, and 42 is low frequency input face image data generated through mosaic processing or the like based on the input face image data 41. Specifically, the input image is image data of an unknown face obtained by a camera mounted on an automobile and photographing a driver, or a camera mounted on an autonomous mobile robot.
[0025]
Next, the processing flow of the database generation process and the face direction detection process in the image processing apparatus will be described with reference to FIGS. 1 and 2.
[0026]
(1) Database creation process
First, the average face data creation unit 11 normalizes an image based on a plurality of sample front face image data 31. Here, image normalization is processing such as aligning the sizes of a plurality of images, aligning the positions of faces on the image, or normalizing brightness to suppress image variations due to illumination conditions. Here, the number of sample images after normalization is M, and the size of each sample image is i pixels and j pixels respectively. And each of M sample images
[Expression 1]

(Where m is a sample number and 1 ≦ m ≦ M), each sample image
[Expression 2]

Of (i × j) pixel values
[Equation 3]

It shall be expressed as Here, the luminance (density) value of each pixel is used as the pixel value. Alternatively, color information (for example, RGB three primary color values) may be used instead of the luminance value. It should be noted that a process of aligning background colors other than the face area of the sample image may be performed at this normalization stage.
[0027]
Then, the average face data creation unit 11 performs a process of averaging a plurality of normalized images, and generates average front face image data 32. Here, averaging is a process of generating an average image based on the M sample images, and the average image
[Expression 4]

Is defined by the following equation.
[Equation 5]

Next, the mosaic processing means 12 performs mosaic processing on the average front face image data 32 as necessary to generate low frequency average front face image data 33.
[0028]
Next, the three-dimensional mapping unit 14 represents the average front face image data 32 or the low-frequency average front face image data 33 described above by the standard face shape model data 34 created in advance by the three-dimensional face model creation unit 13. Texture mapping processing to be pasted on the surface of the three-dimensional model is performed, and average face three-dimensional model data 35 is generated. At this time, as the texture data to be mapped to the portion corresponding to the back of the head, an average of the back of the head image captured simultaneously with the sample front face image data 31 may be used, or a standard back of the head prepared in advance. An image may be used.
[0029]
Finally, the average face three-dimensional model arbitrary direction rotation means 15 rotates the three-dimensional face model represented by the average face three-dimensional model data 35 by a predetermined angle step, and obtains an angle obtained by projecting from a certain direction in each step. The different average face image data 36 is stored in the database by the two-dimensional database creation means 16. Here, the rotation axis is not limited to one type, and the average face image data for each angle may be created by combining rotations for each of a plurality of rotation axes and combining predetermined angle steps for each axis. Moreover, the direction of rotation is arbitrary, such as a horizontal direction, a front-back direction, and a left-right direction.
[0030]
(2) Face direction detection process
In this face direction detection process, first, based on an unknown image captured from the face image input means 20, a face region is extracted using object edge shape information or color information obtained by edge extraction processing, Further, the input face image data 41 is obtained by normalizing the size of the face area image. At this time, as in the database creation process, processing for aligning the background color may be performed.
[0031]
Next, the mosaic processing means 21 performs mosaic processing on the input face image data 41 and outputs low frequency input face image data 42. Then, the face direction determination means 22 compares the low frequency input face image data 42 with the data of each angle in the above-mentioned average face image data 36 by angle, and determines the image data having the highest correlation, thereby inputting The direction of the face image is determined.
[0032]
An example of the correlation degree calculation method is as follows. The dissimilarity between images is obtained for each pixel f (x, y) of the low-frequency input face image data 42 and each pixel t (x, y) of an image at an arbitrary angle in the angle-specific average face image data 36. The dissimilarity can be obtained by any one of the following mathematical expressions.
[Formula 6]

[Expression 7]

[Equation 8]

The smaller the dissimilarity value, the higher the correlation between the two images. In this embodiment, the average face image data 36 for each angle is created at regular intervals (for example, at intervals of 10 degrees) in all directions, and recognition is performed by calculating the degree of correlation between the average face image data and the input image. If the face movement range can be specified to some extent in advance, such as in the direction detection, the recognition range can be narrowed or the interval can be increased from 10 degrees to, for example, 5 degrees. Conversely, by increasing the interval, it is possible to speed up the system instead of sacrificing the accuracy of face orientation detection. Further, the angle for calculating the correlation degree is not continuously performed at a constant interval as described above, but can be discretely performed by using a genetic algorithm or the like.
[0033]
Next, the principle of improving the face direction detection accuracy according to the present invention will be described. FIG. 3 is a conceptual diagram showing the distribution of data in the feature space of the face image. In FIG. 3, the multidimensional feature space is abstracted and expressed two-dimensionally. In FIG. 3,

reference numerals

1A, 2A, 3A, 4A, and 5A represent the positions of data at five angles in the average face image data for each angle. Further, 1R, 2R, 3R, 4R, and 5R are sample face image distribution ranges at respective angles. Further, 1S, 2S, 3S, 4S, and 5S are positions of specific sample face images at respective angles.
[0034]
Here, if U is the position of the input face image data, the input face image data located at this U is the closest to 4A among 1A to 5A in the distance in this space, and accordingly, the image located at 4A Is determined to have the highest degree of correlation, and the face direction is determined. On the other hand, when this U is compared with each position of the sample images 1S to 5S, 3S is closest and the face direction of U is determined to be 3A, and a result different from the above-described determination result is output. Will be. If the input face image U and the person in the sample image 3S are the same person, it can be said that the face direction of U is rather accurate with 3S (3A). In this case, it cannot be determined that 4A is the correct answer and 3A is the incorrect answer. However, in the actual face direction recognition process, the person of the input face image is not necessarily included in the sample when creating the average face model data of the apparatus. Therefore, there is a need for a method for outputting a more general solution (face direction) without being excessively influenced by the personal face characteristics of the sample face image. According to the present invention, when an unknown image is input, the face orientation determination is performed by comparing with the face image data according to the angle based on the average face of a large number of people, and therefore, comparison with a specific person sample image is performed. It is possible to obtain a more universal face orientation recognition result than the case. In addition, it is not necessary to take a face image for each face direction (face orientation) and store it in the database for each of a large number of samples, so the storage capacity required for database creation is small. There is also an effect.
[0035]
Further, the mosaic processing means 21 uses the low-frequency input face image data 42 obtained by performing the mosaic process on the input face image data 41 and compares it with the average face image data 36 by angle. The face direction can be detected without receiving it.
In addition, when the mosaic processing means 12 generates the average face three-dimensional model data 35 using the low-frequency average front face image data 33 obtained by performing mosaic processing on the average front face image data 32, the individual of the face is further generated. The face direction can be detected without being affected by the difference.
[0036]
In the above embodiment, the average face image data for each angle is generated in advance and stored in the database, and this data is taken out and compared with the input image. However, the average face image data for each angle is read from the database. Instead, average face image data viewed from an arbitrary angle may be generated by performing calculation each time and compared with the input image.
[0037]
For this purpose, for example, smoothing processing means for generating a low-frequency input face image by smoothing the input face image, and an average face three-dimensional model obtained by mapping the average face image to a standard face shape model are provided. An angle-specific average face image data generating means for generating the angle of the viewpoint with respect to the average face three-dimensional model and the angle-specific average face image when the average face three-dimensional model is viewed from the viewpoint for each angle. An image processing apparatus is configured by a face direction determination unit that determines a face angle in the input face image by comparing the low-frequency input face image and the averaged face image by angle.
As a result, a smaller storage capacity is required, and the step of the rotation angle can be dynamically changed.
[0038]
Note that the above-described image processing apparatus may be configured using a computer inside. In this case, each process such as the above-mentioned average face data creation, mosaic processing, three-dimensional face model creation, three-dimensional mapping, average face arbitrary direction three-dimensional model creation, two-dimensional database creation, face direction discrimination, etc., or one of these processes The unit is stored in a computer-readable recording medium in the form of a program, and the above processing is performed when the computer reads and executes the program. Here, the computer-readable recording medium means a floppy disk, a magneto-optical disk, a CD-ROM, a magnetic hard disk, a semiconductor memory, or the like.
[0039]
The configuration for detecting the direction of a human face has been described above as a specific example, but the target is not limited to a human face, and the general shape, surface design, color, etc. are fixed to some extent. The present invention may be applied to the determination of the orientation of a simple article. The article is, for example, a portable telephone terminal or the like. By applying the present invention using an average image of individual sample articles, an image processing apparatus that recognizes the orientation of these articles can be provided. Such an image processing apparatus may be applied to recognition processing in a robot or the like.
[0040]
【The invention's effect】
As described above, according to the present invention, the front face image of the subject (the person in the input image) is not stored in the database as sample data, and the initial input image is not necessarily a front face image ( Even when the orientation is not known, the face direction of the person can be detected.
[0041]
Further, according to the present invention, since an average face image is generated based on a plurality of sample face images, even if an input image is an unknown person's face image by using such an average face image The direction of the person's face can be calculated.
[0042]
In addition, according to the present invention, since the influence of individual face differences can be reduced by mosaic processing of the average face, comparison and matching with the input face image is facilitated. Furthermore, since the influence of individual face differences can be reduced by performing mosaic processing on the input face image, comparison and matching with the average face is facilitated.
[0043]
In addition, according to the present invention, general articles other than the face can be handled in the same manner. Therefore, the front images of the individual articles are not stored in the database as sample data, and the initial input image is not always the front image. Even when there is no item, the direction of the article can be detected.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a functional configuration of an image processing apparatus according to an embodiment of the present invention.
FIG. 2 is a data configuration diagram showing a data flow for face direction detection according to the embodiment;
FIG. 3 is a graph showing a distribution in a feature space when face direction detection is performed using the embodiment.
FIG. 4 is a data configuration diagram showing a flow of data for face direction detection according to the prior art.
[Explanation of symbols]
11 Mean face data creation means
12 Mosaic processing means
13 3D face model creation means
14 Three-dimensional mapping means
15 Mean face 3D model Arbitrary direction rotation means
16 2D database creation means
20 Face image input means
21 Mosaic processing means
22 Face direction discrimination means
31 Sample front face image data
32 Average front face image data
33 Low frequency average front face image data
34 Standard face shape model data
35 Average face 3D model data
36 Average face image data by angle
41 Input face image data
42 Low frequency input face image data

Claims

An image processing device for detecting the direction of a face,
Average face data creating means for generating an average face image based on a plurality of sample face images;
Average face three-dimensional model creating means for generating an average face three-dimensional model by mapping the average face image to a standard face shape model representing a face shape;
Database creation means for storing the angle of the viewpoint with respect to the average face three-dimensional model and the average face image for each angle when the average face three-dimensional model is viewed from the viewpoint for each angle. An image processing apparatus.

Smoothing processing means for smoothing the average face image;
The image processing apparatus according to claim 1, wherein the average face three-dimensional model creating unit maps the average face image that has been smoothed.

An image processing device for detecting the direction of a face,
Smoothing processing means for generating a low-frequency input face image by smoothing the input face image input; and
A comparison is made between the low-frequency input face image and a plurality of average face images by angle created based on the average face image of a plurality of sample face images and stored in association with the angle of the viewpoint. An image processing apparatus comprising: a face direction determining unit that determines a face angle.

An image processing device for detecting the direction of a face,
Smoothing processing means for generating a low-frequency input face image by smoothing the input face image input; and
Based on an average face three-dimensional model obtained by mapping an average face image generated from a plurality of sample face images to a standard face shape model representing a face shape, a viewpoint angle with respect to the average face three-dimensional model, Angle-specific average face image data generating means for generating an angle-specific average face image in association with the average face three-dimensional model when viewed from the viewpoint for each angle;
An image processing apparatus comprising: a face direction determining unit that determines a face angle in the input face image by comparing the low-frequency input face image with the angle-based averaged face image.

An image processing method for detecting the direction of a face,
An average face data creation process for generating an average face image based on a plurality of sample face images,
An average face three-dimensional model creation process for generating an average face model by mapping the average face image generated in the average face data creation process to a standard face shape model representing a face shape;
Based on the average face three-dimensional model, the angle of the viewpoint with respect to the average face three-dimensional model and the average face image by angle when the average face three-dimensional model is viewed from the viewpoint for each angle are stored in association with each other. And a database creating process.

A smoothing process for smoothing the average face image;
6. The image processing method according to claim 5, wherein, in the average face three-dimensional model creation process, the average face image smoothed in the smoothing process is mapped to a standard face shape model.

An image processing method for detecting the direction of a face,
A smoothing process for generating a low-frequency input face image by smoothing the input face image,
A plurality of average face images by angle that are created based on an average face image of a plurality of sample face images and stored in association with the angle of the viewpoint, and the low-frequency input face image generated in the smoothing process And a face direction determination process for determining a face angle in the input face image based on the comparison.

An image processing method for detecting the direction of a face,
A smoothing process for generating a low-frequency input face image by smoothing the input face image,
Based on an average face three-dimensional model obtained by mapping an average face image generated from a plurality of sample face images to a standard face shape model representing a face shape, a viewpoint angle with respect to the average face three-dimensional model, An angle-specific average face image data generation process for generating an angle-specific average face image in association with an angle when the average face three-dimensional model is viewed from a viewpoint for each angle;
An image processing method comprising: a face direction determination process for determining a face angle in the input face image by comparing the low-frequency input face image and the averaged face image by angle.

An average face data creation process for generating an average face image based on a plurality of sample face images,
An average face three-dimensional model creating process for generating an average face three-dimensional model by mapping the average face image generated in the mean face data creating process to a standard face shape model representing a face shape;
Based on the average face three-dimensional model, the angle of the viewpoint with respect to the average face three-dimensional model and the average face image by angle when the average face three-dimensional model is viewed from the viewpoint for each angle are stored in association with each other. A computer-readable recording medium having recorded thereon a program for causing a computer to execute a database creation process.

Causing a computer to execute a smoothing process for smoothing the average face image;
10. The program according to claim 9, wherein in the process of creating the average face three-dimensional model, a program for causing the computer to execute a process of mapping the average face image smoothed in the smoothing process is recorded. Computer-readable recording medium.

A smoothing process for generating a low-frequency input face image by smoothing the input face image,
A plurality of average face images by angle that are created based on an average face image of a plurality of sample face images and stored in association with the angle of the viewpoint, and the low-frequency input face image generated in the smoothing process A computer-readable recording medium storing a program, which causes a computer to execute a face direction determination process for determining a face angle in the input face image by comparing the two.

A smoothing process for generating a low-frequency input face image by smoothing the input face image,
Based on an average face three-dimensional model obtained by mapping an average face image generated from a plurality of sample face images to a standard face shape model representing a face shape, a viewpoint angle with respect to the average face three-dimensional model, An angle-specific average face image data generation process for generating an angle-specific average face image in association with an angle when the average face three-dimensional model is viewed from a viewpoint for each angle;
A computer having recorded thereon a program for causing a computer to execute a face direction determination process for determining a face angle in the input face image by comparing the low-frequency input face image and the averaged face image by angle A readable recording medium.

An image processing device for detecting the direction of an article,
Average article data creating means for generating an average article image based on a plurality of sample article images;
Mean article 3D model creating means for generating an average article 3D model by mapping the average article image to a standard article shape model representing the shape of the article;
And a database creating unit that associates and generates an angle of a viewpoint with respect to the average article three-dimensional model and an average article image for each angle when the average article three-dimensional model is viewed from the viewpoint for each angle. An image processing apparatus.

An image processing device for detecting the direction of an article,
Smoothing processing means for generating a low-frequency input article image by smoothing the inputted input article image;
A comparison between the plurality of average article images for each angle created based on the average article images of the plurality of sample article images and stored in association with the angle of the viewpoint, and the low frequency input article image. An image processing apparatus comprising: an article direction determining unit that determines an angle of an article direction.