JP4238542B2 - 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム - Google Patents
顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム Download PDFInfo
- Publication number
- JP4238542B2 JP4238542B2 JP2002253328A JP2002253328A JP4238542B2 JP 4238542 B2 JP4238542 B2 JP 4238542B2 JP 2002253328 A JP2002253328 A JP 2002253328A JP 2002253328 A JP2002253328 A JP 2002253328A JP 4238542 B2 JP4238542 B2 JP 4238542B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- orientation
- image
- conversion
- face orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、入力された画像中の顔が向いている方向を推定する顔の向き推定装置およびその方法、並びに、顔の向き推定プログラム（以下、顔の向き推定方式と記載する）に関するものである。
【０００２】
【従来の技術】
従来、この種の技術として、特開２００１−２９１１０８号公報、特開平１１−２８１６６１号公報に記載の方式が知られている。特開２００１−２９１１０８号公報に記載の記載のブロック図を図２０に示す。この手法では、予め複数人の正面顔データを取得して平均顔を作成し、平均顔を３Dモデルに張り合わせて任意の角度回転させた画像を生成して、入力画像と最も相関度の高い角度の画像を決定することで入力画像の顔の向きを推定するように構成されている。
【０００３】
また、特開１１−２８１６６１号公報記載の手法では、肌色を抽出することで、両目および口の位置と顔幅を検出し、それらの位置関係から顔の向きを推定する。
【０００４】
【発明が解決しようとする課題】
これらの従来技術の第１の問題点は、正面方向など特殊な方向の特徴を利用することが困難で、全ての顔向き方向で同等の類似度計算を行う必要があることであり、顔向き方向の評価にテンプレートを生成する必要があることである。
【０００５】
その理由は、様々な顔向き方向のテンプレートとの類似度を比較することで入力画像の顔向きを推定するため、様々な顔向き画像での類似度の比較が必要なためであり、テンプレートは用いる顔データの人種（白人・黒人・黄色人種）による色や顔の形状の違いや、顔以外の領域（背景部分）の輝度などの影響を受けやすいことである。
【０００６】
本発明は、このような事情に鑑みてなされたもので、顔向き方向を精度よく検出する顔の向き推定方式を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明では以下の特徴により、上記の目的を達成している。
【０００８】
画像中の顔の向きを推定する顔向き推定装置において、
画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換手段と、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価手段とを備える。
【０００９】
また、前記顔向き推定装置において、顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、前記照明変動除去手段は、前記顔向き変換手段により作成された顔向き変換顔について照明変動の影響を除去した画像を生成し、前記特定方向顔向き評価手段は、前記照明変動の影響が除去された画像を用いて、顔の向きを推定することを特徴とする。
【００１０】
また、前記顔向き推定装置において、
顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、
前記照明変動除去手段は、
前記画像について照明変動の影響を除去した画像を生成し、
前記顔向き変換手段は、
前記照明変動除去手段で生成した画像中の顔の向きを変換する画像処理を施し、
顔向き変換顔を作成することを特徴とする。
【００１１】
また、前記顔向き推定装置において、前記特定方向顔向き判定手段は、複数の特定方向顔画像の平均を求めることにより特定方向平均顔を予め生成しておき、前記顔向き変換顔と上記特定方向平均顔との類似度により特定方向顔向き評価を行うことを特徴とする。
【００１２】
また、前記顔向き推定装置において、前記特定方向顔向き評価手段は、前記画像中の顔の向きを評価する方向として正面を用い、前記顔向き変換顔の正面顔らしさを評価する正面顔向き評価手段を備えたことを特徴とする。
【００１３】
また、前記顔向き推定装置において、前記正面顔向き評価手段は、前記特定方向顔向き評価手段が前記正面顔向き評価を顔向き変換顔の左右対称性の度合いにより正面向き評価することを特徴とする。
【００１４】
また、前記顔向き推定装置において、前記正面顔向き評価手段は、人物の正面顔の左右対称性の度合いを評価するために、前記特定方向顔向き評価手段が顔とその顔を左右反転した顔との類似度を計ることで正面顔評価を行うことを特徴とする。
【００１５】
また、前記顔向き推定装置において、前記特定方向顔向き評価手段は、前記画像中の顔の向きを評価する方向として真横を用い、前記顔向き変換顔の真横顔らしさを評価する真横顔向き評価手段を備えたことを特徴とする。
【００１６】
また、前記顔向き推定装置において、前記顔向き変換手段は、人物顔の特徴点の画像上の位置を用い、画像上の顔の向きを変更することを特徴とする。
【００１７】
また、前記顔向き推定装置において、前記顔向き変換手段は、人物顔の特徴点として両目、口の両端、鼻の左右の穴、両眉のうち、いずれか１つ、またはいずれかの組み合わせを用いることを特徴とする。
【００１８】
また、前記顔向き推定装置において、前記顔向き変換手段は、人物顔の特徴点として目、口の端、鼻の穴、眉のうち、いずれか１つ、またはいずれかの組み合わせを用いることを特徴とする。
【００１９】
また、前記顔向き推定装置において、前記顔向き変換手段は、人の顔の立体形状を記述した顔立体形状モデルに顔画像をマッピングし方向変換させることを特徴とする。
【００２０】
また、前記顔向き推定装置において、前記顔向き変換手段は、人の顔の立体形状モデルとして複数人の顔形状の平均として記述した顔立体形状モデルを用いることを特徴とする。
【００２１】
また、前記顔向き推定装置において、前記顔向き変換手段は、前記顔立体形状モデルとして楕円体を用いることを特徴とする。
【００２２】
また、前記顔向き推定装置において、前記顔向き変換手段は、画像上の顔の向き変更を顔領域のイメージ・ワーピングにより行うことを特徴とする。
【００２３】
また、前記顔向き変換手段において、画像上の顔の向きを変更するワーピング手段として予め学習画像により生成した変換パラメータを入力画像に適用することで顔向きを変更することを特徴とする。
【００２４】
また、前記顔向き推定装置において、前記顔向き推定方向をいくつかの特定方向カテゴリーとして出力することを特徴とする。
【００２５】
また、前記顔向き推定装置において、特定方向カテゴリーとして正面・上・下・右・右上・右下・左・左上・左下の９種類のうち、いずれか一種類またはその組み合わせを用いることを特徴とする。
【００２６】
また、前記顔向き推定装置において、前記特定方向カテゴリーそれぞれを代表する方向のみに対し顔向き変換および評価を行うことで顔向きを特定方向カテゴリーとして出力することを特徴とする。
【００２７】
さらに、本願発明は、画像中の顔の向きを推定する顔向き推定方法において、画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換ステップと、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価ステップと、
を含むことを特徴とする。
【００２８】
さらに、本願発明は、画像中の顔の向きを推定する顔向き推定プログラムにおいて、
画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換ステップと、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価ステップと、
をコンピュータに実行させることを特徴とする。
【００２９】
【発明の実施の形態】
以下、本発明の一実施形態による顔向き推定装置を図面を参照して説明する。
【００３０】
まず、本発明における顔向き推定の原理を説明する。
【００３１】
なお、顔の向きを表す方向の尺度として、カメラ等の撮像媒体に対して被撮影者から見て右を向いている場合は＋で、左側を向いている場合は−、上を向いている場合は＋、下を向いている場合は−の角度を用いることとする。特に明記しない場合、φは左右方向、θは上下方向の角度を表すものとする。γ、ψはφ,θの組み合わせで表される３次元方向とする。
【００３２】
例えば、正面以外の方向を向いている顔に対し−ψ分の顔向き変換を施したとき、変換後の顔が正面顔であれば、変換前の顔はψの方向を向いていることとなる。一般的に、γ以外の方向を向いている顔に対しγ−ψ分の顔向き変換を施したとき、変換後の顔がγの方向を向いた顔であれば、変換前の顔はψの方向を向いていることとなる。
【００３３】
この顔向き変換の方法としては、入力画像中の顔に顔立体形状モデルを当てはめて方向変換を行う方法などが用いられる。
【００３４】
顔立体形状モデルとは人物の顔形状を３次元であらわしたモデルである。レンジファインダ等の計測器を用い、複数人物の顔形状を計測し、その平均を用いることで作成することができる。
【００３５】
顔立体形状モデルに関しては、特開２０００−３２２５７７号公報「画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体」に詳しい。
【００３６】
しかし、このようなモデルを当てはめる方法では、入力画像中の顔向き方向および顔の位置が既知であることが要求される。
【００３７】
このため、本発明では、変換前の顔向き方向をψと仮定し、ψ方向を向いた人物顔モデルを作成し、そのモデルをγ方向へ（γ−ψ）の方向変換を行うことで、γの方向の顔向き変換をおこなうこととする。
【００３８】
補正後の顔向き方向の角度γとしては、任意の角度について行っても良いが、以下では特にγ(φ,θ)＝(0,0)度の場合、つまり正面顔への顔向き変換について説明する。
【００３９】
上記の顔向き変換方法の動作について、図２に示す横に+３０度を向いた顔を含んだ入力画像を例に説明する。
【００４０】
ここでは、θ＝０として顔向き方向を横に限定して説明するが、縦向き方向の変化に対しても角度（φ,θ）の組み合わせが増えるのみで原理的には変らないため同様の処理で行うことができる。
【００４１】
まず、入力画像の顔の向きは未知であるため、顔の向きをφ＝−２０度と仮定する。この場合、図３に示すような−２０度傾いた顔立体形状モデルを用意する。図４のように、顔の特徴点として得られた両目の位置を利用してこのモデルと入力顔画像の位置あわせを行う。図１８に示したように、入力画像の画素Pを顔立体形状モデルに平行投影する。この処理を画像上の全ての画素Pに対して行うことをマッピングと呼ぶ。次に、入力画像をマッピングした顔モデルが正面を向くように+２０度変換を行い、平行投影により顔向き変換顔画像を生成する。しかし、+３０度を向いた顔を−２０度向いた顔と誤って仮定しているため、正しいマッピングを行えず、得られる変換後の顔は正面顔とはならない。
【００４２】
続いて、図２の入力顔画像の向きを＋３０度と仮定した場合では、得られた両目の位置を利用し、図６の＋３０度傾いた顔立体形状モデルに入力顔画像を図７に示すように位置合わせすることができる。そして、図１９に示すようにマッピングした顔モデルが正面を向くように−３０度変換を行い、平行投影により顔向き変換顔画像を生成する。この場合、変換後の顔は正面顔となり、正面顔評価により正面顔と判定されることで＋３０度の仮定が正しいかの判定を行える。
【００４３】
このように、入力画像の顔向きをφと設定し、φを向いた顔立体形状モデルに入力顔画像をマッピングし、−φ変換を行い作成される顔向き変換顔が正面顔であれば、入力画像の顔向きがφとなり、入力画像中の顔の向きを判定することができる。つまり、入力画像中の顔向き方向の判定精度を顔向き変換後の顔の特定方向顔向き顔との類似度として評価することができるため、例えば、特定の方向として正面とすると、人物の正面顔の特徴を利用した評価を行えることが特徴となる。
【００４４】
なお、上記の説明ではマッピングでの位置合わせに用いる顔の特徴点として、両目の位置を用いて説明したが、図５に示すように両目以外にも、口の両端、鼻の両穴、両眉の両端の位置を用いることもできる。以下、特徴点として両目の位置を用いることとして説明を行う。
【００４５】
（構成の説明）
次に、本発明の実施の形態について図面を参照して詳細に説明する。ここでは以下、特定方向を正面として説明する。
【００４６】
図１を参照すると、本発明の実施の形態は画像入力手段１と、顔向き変換手段２と、特定方向顔向き評価手段３と、顔向き出力手段４とを含む。
【００４７】
画像入力手段１では、顔が写っている画像をデジタル情報として取得する。取得方法としては、デジタルカメラ、ビデオカメラ等の撮像デバイスを用いても、写真などをスキャナにより取り込んでもよい。
【００４８】
顔向き変換手段２では、入力された画像中の顔向きを別の方向に変換する処理を施す。例えば、入力された顔画像に対し、顔向き方向をφと仮定し、（γ−φ）角度分変換する画像処理を施す。顔向き変換手段２は、例えば、図示しない記憶装置などに保存された顔立体形状モデルを参照することにより、φ方向を向いた顔モデルをγ方向顔へ変換する画像処理を施すことで実現できる。なおこの場合、例えば、＋９０度から−９０度の１度毎に顔立体形状モデルを記憶装置に保存しておく。特定方向顔向き評価手段３では、変換後の顔向きが特定方向を向いているかの評価を行う。前例では、変換された顔向きがγ方向を向いた顔かの評価を行う。顔向き変換手段２および特定方向顔向き評価手段３はループ構成であり、様々な顔向きにおける評価を行う。
【００４９】
顔向き出力手段４では、特定方向顔向き評価手段３での評価を用いて、特定方向の顔向き変換を行った変換量を求め、入力画像における顔向きを計算し、出力する。
【００５０】
（動作の説明）
以下、図８に示すフローチャートを用いて第一の実施形態における顔向き推定の動作を説明する。画像入力手段１では、画像を取得し（ステップA１）、
取得した画像の両目の位置を抽出し、それぞれ（Er,El）とする（ステップA２）。両目の位置の取得方法については、ユーザーが手動で与えても、特開平１１−２８１６６１号公報のように肌色領域内を目のテンプレートマッチングにより自動で抽出しても構わない。
【００５１】
なお、画像によって顔の位置や大きさが異なると処理が複雑になるため、左右対称な特徴点（両目）の間隔距離を用いて、大きさを揃える処理を行う。入力画像中の左右対称な顔の特徴点として、ここでは両目の位置を用いることとするが口の両端や鼻の穴の位置などを用いても構わない。例えば、２５６ｘ２５６画素サイズの画像に対し、両目の位置を被撮像者の右目の座標を（９７，１００）、左目の座標を（１６０，１００）にするように画像を幾何学変換（平行移動・縮小拡大・回転）操作で行うことができる。
【００５２】
顔向き変換手段２では、入力手段１で得られた両目の位置を利用して、顔立体形状モデルにより顔向きを変更する。ただし、入力画像中の顔の向きが未知であるため、顔の向きをφと仮定し、入力画像の顔向きと最も類似するφ方向を向いた顔立体形状モデルを以下のステップで抽出する。
【００５３】
まず、ある探索角φに対し、φ度向きの顔立体形状モデルを生成する（ステップA3）。この顔立体形状モデルへと入力画像の顔の位置合わせを行い、顔立体形状モデルにマッピングする（ステップA４）。そして、０度（正面）へ−φ度の向き補正（ステップA5）を行う。
【００５４】
特定方向顔向き評価手段３では、顔向き補正後の顔の正面らしさ表す評価尺度として正面顔度を計算する（ステップA6）。
【００５５】
正面顔度の計算方法としては、予め一人または複数人の正面画像から正面を向いた人物の顔テンプレートを作成しておき、このテンプレートと補正画像との輝度値の差分の絶対値をとることで類似度を計算することができる。計算方法としては、式（１）に示すように原画像とテンプレート画像との差の絶対値を総画素数で割ったものの総和を正面顔度S1とする方法を用いる。
【００５６】
【数１】
【００５７】
ただし、F(x,y)、T(x,y)はそれぞれ入力画像およびテンプレート画像の座標(x,y)における輝度値を表す関数であり、Xmax,Ymaxはそれぞれ画像の横および縦幅を表す定数である。
【００５８】
顔の向きの探索角φが設定角度内かの判定を行う（ステップ７）。とり得る範囲としては真横より前向きの顔の向きが推定角度の対象となるため、設定角度は-９０度から+９０度となるが、顔向きの角度が予め限定されている場合は、限定角度内で探索を行うと良い。探索角度が範囲内の場合は、探索角度を新たに仮定し、ステップ３，４，５，６の処理を繰り返す（ステップA８）。
【００５９】
新たに仮定する角度は前回の探索角度を１度増やしたものとする。顔向き推定角度の精度を上げたい場合は増やす幅を細かく、精度を落しても顔向き推定処理の速度をあげたい場合では、増やす幅を粗くすると良い。
【００６０】
顔向き出力手段４では、設定角度内の探索終了後に、最も正面顔度が高くなる変換を行った顔向き角度を出力することで、顔向き推定を行う（ステップA９）。
【００６１】
上記では顔向き方向が横向き方向のみの場合について説明したが、縦方向を加えた場合については、図９に示すフローチャートを用いて本発明の動作の説明を行う。
【００６２】
図９において、上下方向の角度θを制御するステップA１７、A１８を設けたことと、A３に代わり上下方向の角度θにも対応した３Dモデル作成ステップA１３を設けたこと、A９に代わり上下方向の角度θにも対応した顔向き方向出力ステップA１９を設けたこと以外は図８と同様の構成となっており、同一構成要素には同一符号を付してある。
【００６３】
顔向き変換手段２では、探索範囲内の(φ,θ)の全ての組み合わせをについて３Dモデルを生成する（図９ステップA１３）。
【００６４】
特定方向顔向き評価手段３では、正面顔度を計算することで、最も正面顔度の高い(φ,θ)を出力することで顔向き推定を行う（ステップA１９）。
【００６５】
上記の設定角度範囲内を全て探索する方法以外では、評価値があるしきい値を超えた場合に、ループ処理を打ち切りその角度を出力する方法を用いても良い。
【００６６】
（発明の他の実施の形態）
（第２の実施形態）
次に、第２の実施形態を図１０を参照して詳細に説明する。図１０は本発明の第２の実施形態による顔向き推定の主要部構成を示すフローチャート図である。
【００６７】
図１０において、第２の実施形態による顔向き推定の主要部は左右対称度を計算するステップA２６を設けた以外は図８に示す第一の実施形態による顔向き推定装置の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【００６８】
人物の正面顔はほぼ左右対称となるため、左右対称性を計ることで正面顔度を計算することができる。正面顔の左右対称性を利用する正面顔度評価方法では、顔テンプレートを予め作成する必要がないことや、自分自身の顔のみを用いて計算するため、各個人により異なる肌の色・顔の形に影響を受けずに計算を行える。
特定方向顔向き評価手段３では、計算方法として式（２）に示すように、左右反転させた画像と原画像との比較により左右対称の度合いにより正面顔度S2を計算する。これにより横向き方向の顔の向きφを推定する。（ステップA26）
本方法を用いて横向き方向φを最初に推定したのち、図９に示した方法を用いて上下方向の向きθを推定することも可能である。
【００６９】
【数２】
【００７０】
（第３の実施形態）
次に、第３の実施形態を図１０を参照して詳細に説明する。以上の説明では、変換後の角度を０度、つまり正面としたが、正面以外の角度を利用してもよく、図１１のように、例えば真横の９０度としてもよい。つまりこの場合では、入力画像の顔向きをφと仮定し、φ傾いた顔立体形状モデルに入力顔画像をマッピングし、（９０−φ）度変換を行った際に顔向き変換顔が真横顔であれば、入力画像の顔向きがφと判定できる。
【００７１】
図１２は本発明の第３の実施形態による顔向き推定方法の主要部構成を示すフローチャート図である。図１２において、本発明の第３の実施形態による顔向き推定方法の主要部は顔モデルを真横へ向き補正するステップA３５と顔向き変換顔の真横顔らしさ表す真横顔類似度を計算するステップA３６とを設けた以外は図８に示す第1の実施形態による顔向き推定方法の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【００７２】
（第４の実施形態）
次に、第４の実施形態を図１３を参照して詳細に説明する。
【００７３】
いままでの説明では、入力画像中の顔向き（φ,θ）を求めるために、ループによる探索をおこなったが、並列に処理することもできる。図１３は本発明の第４の実施形態による顔向き推定方法の主要部構成を示すフローチャート図である。図１３において、第４の実施形態による顔向き推定方法の主要部は図９に示す本発明の第一の実施形態による顔向き推定方法の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【００７４】
様々な探索角度での正面顔度評価は、様々な角度での補正画像を並列に作成し、その中から最良の角度を抽出する。例えば、−９０度から＋９０度までの5度おきの角度に対しての処理を並列に行い、最も高い正面顔度を持つ角度を出力する。
【００７５】
（第５の実施形態）
次に、第５の実施形態を図１４を参照して詳細に説明する。第５の実施形態は、第１の実施形態における顔立体形状モデルとして、楕円体モデルを用いる。本発明の第１〜４の実施形態は上記説明では、顔立体形状モデルを用いて顔向変換を行ったが、顔立体形状モデルとは人物の顔形状を３次元であらわしたモデルであるため、情報量が多く、顔向き変換処理も複雑となり、大型コンピュータ以外では処理時間がかかり有効とならない場合がある。
【００７６】
このような場合では、簡略化した顔立体モデルを用いると良い。簡略化顔立体モデルとしては、図１４に示すような楕円体を用いる。図１４の＋印で示したように、楕円体の表面上に両目の位置を定義し顔立体モデルとする。これにより、処理時間を短縮することが出来る。
【００７７】
（第６の実施形態）
次に、第６の実施形態を詳細に説明する。
【００７８】
本発明の第６の実施形態は、第１〜５の実施形態における顔立体形状モデルによる顔向き変換手段に代わり、イメージ・ワーピングを用いた顔向き変換を行うことを特徴とする。
【００７９】
ワーピングとは人の顏が動物の顔へ移行するような例で言えば、目の位置や、顔の輪郭を対応づけすることにより、画素の色だけでなく形全体が対応づけられた場所へと移動するようにワープさせる画像処理である。これにより、顔の向き変換は、物理的な立体モデルを用なくとも、画像の変換パラメータを学習画像により学習させることで行える。
【００８０】
例えば、人物Ａの正面向きの顔画像をImgA0、人物Ａの+30度向きの顔画像をImgＡ30とした際に、ImgA0の画素がImgＡ30のどの画素に対応しているかを示す変換パラメータは、オプティカルフローに代表される変換ベクトルで表すことができ、この変換ベクトルを
【００８１】
【数３】
【００８２】
とする。このとき、人物Ｂの正面向きの顔画像をImgB0、ImgＡ0の画素がImgB0のどの画素に対応しているかを示す変換ベクトルを
【００８３】
【数４】
【００８４】
とすると、人物Bの+30度向きの顔画像ImgB30は、ImgＡ0を
【００８５】
【数５】
【００８６】
変換することで求めることができる。
【００８７】
この変換パラメータの推定および変換画像の合成については、D. Beymer, A. Shashua, and T. Poggio, Example Based Image Analysis and Synthesis, A.I.Memo 1431, MIT, 1993に詳しい。
【００８８】
（第７の実施形態）
次に、第７の実施形態を詳細に説明する。
【００８９】
本発明の第７の実施形態は、第１〜６の実施形態における顔向き推定方向の出力を特定方向のカテゴリーとして出力することを特徴とする。
【００９０】
第１〜６の実施形態では、顔向き推定方向の出力を角度（φ,θ）として出力しているが、正確な顔向き推定が必要なく、ラフな顔向きのみでよい用途では、顔向き方向をおおまかなカテゴリーに分類し、そのカテゴリーを出力することもできる。
【００９１】
例えば、顔向き方向を正面・上・下・右・右上・右下・左・左上・左下の９つのカテゴリーに分類し、出力するとよい。カテゴリーへの分類方法としては、推定方向の角度（φ,θ）を以下のようなしきい値処理により行う。
正面： −５＜=φ＜＝＋５ かつ −５＜=θ＜=＋５
上： −５＜φ＜＋５ かつ ＋５＜θ
下： −５＜φ＜＋５ かつ θ＜−５
右： φ＜−５ かつ −５＜θ＜＋５
右上： φ＜−５ かつ ＋５＜θ
右下： φ＜−５ かつ θ＜−５
左： ＋５＜φ かつ −５＜θ＜＋５
左上： ＋５＜φ かつ ＋５＜θ
左下： ＋５＜φ かつ θ＜−５
また、９つのカテゴリーを代表する角度（φ，θ）に対し正面顔度をそれぞれ計算し、最も高い正面顔度をもつカテゴリーを出力させると、正面顔度の計算回数がカテゴリー数となるため、計算コストを減少させることができる。上記の例では、代表方向の角度（φ，θ）として例えば、
正面： (0,0)
上： (0,+10)
下： (0,-10)
右： (-10,0)
右上： (-10,+10)
右下： (-10,-10)
左： (+10,0)
左上： (+10,+10)
左下： (+10,-10)
の９通りの組み合わせ例を選び、これらのみを用いて顔向き方向のカテゴリー分類を行うことができる。
【００９２】
（第８及び第９の実施形態）
次に、第８，９の実施形態を図１６および図１７を参照して詳細に説明する。図１６,１７はそれぞれ第８および第９の実施形態による顔向き推定装置の主要部構成を示すブロック図である。
【００９３】
図１６,１７において、第８および第９の実施形態による顔向き推定装置の主要部は照明変動除去手段１０，１１を設けた以外は図１に示す本発明の第一の実施形態による顔向き推定装置の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【００９４】
また、同一構成要素の動作は本発明の第１の実施形態による顔向き推定装置の主要部と同様である。本発明の第８および第９の実施形態は、入力画像中の顔が照明方向の影響を受けている場合に用いる。
【００９５】
照明方向の影響とは、図１５に示すように、顔の向きに関わらず、照明光源の方向や光源の強度の違いにより、顔の明るさが異なるため、同一方向を向いた顔であっても輝度値が異なることを言う。
照明変動除去は、顔画像（Xmax,Ymax）の画素をXmax×Ymax次元のベクトル
【００９６】
【数６】
【００９７】
とみなして作られる画像空間による方法を用いる。
【００９８】
ある顔向きにおける様々な照明変動を受けたN個の顔画像ベクトル
【００９９】
【数７】
【０１００】
が張る照明変動空間は、画像空間において凸錐体をなしている。この照明変動空間の大部分は、低次元の線形空間に含まれているため、入力画像における照明変動の成分はこれらの低次元の線形空間で近似できることが知られている。
【０１０１】
そこで、照明変動成分を表す空間の基底ベクトルを主成分分析を用いて求める。式（３）に示すように、画像ベクトル
【０１０２】
【数８】
【０１０３】
を並べて作成される行列Sの共分散行列Vを求め、Vの固有値σiが大きい順に固有ベクトル
【０１０４】
【数９】
【０１０５】
をM個求める。
【０１０６】
【数１０】
【０１０７】
【数１１】
【０１０８】
は照明変動下での平均的な顔成分を表しているため、入力画像の顔画像ベクトルに含まれる照明変動成分は、M−1個の固有ベクトル
【０１０９】
【数１２】
【０１１０】
を用いて近似することができる。つまり、
【０１１１】
【数１３】
【０１１２】
が照明変動成分を表す空間の基底ベクトルとなる。入力画像の顔画像ベクトルを、固有ベクトル
【０１１３】
【数１４】
【０１１４】
に射影したベクトル
【０１１５】
【数１５】
【０１１６】
が入力画像中の照明変動を表しており、入力画像から照明変動成分
【０１１７】
【数１６】
【０１１８】
を差し引くことで照明変動を除去することができる。詳しくは、「照明条件と姿勢の両者の自動補正による顔照合」電子情報通信学会信学技報PRMU2001-162 pp.59-64を参照のこと。
【０１１９】
上記の照明変動除去処理を、想定される顔向き範囲の様々な顔向き画像に対して予め行っておくことで、任意の入力画像の顔向きに対し、照明変動除去を行うことができる。
【０１２０】
次に、第８の実施形態を図１６を参照して詳細に説明する。図１６に示す実施形態が図１に示す第１の実施形態と異なる点は、任意顔向きでの照明変動除去手段１０を設けた点である。任意顔向きでの照明変動除去手段１０は、画像入力手段１で取得した顔画像における照明変動除去を行う。
【０１２１】
入力画像の照明変動成分を除去した上で顔向き変更および顔向き評価を行うことで顔向き判定を行う。
【０１２２】
次に、第９の実施形態を図１７を参照して詳細に説明する。
【０１２３】
図１７に示す実施形態が図１に示す第１の実施形態と異なる点は、特定顔向きでの照明変動除去手段１１を設けた点である。特定顔向きでの照明変動除去手段１１は、顔向き変換手段２で特定方向へ顔向き変換した顔画像における照明変動除去を行う。このため、図１６に示した実施形態のように任意の顔向きに対する照明変動除去が不要となり、特定の顔向きγに対して照明変動除去を行うだけで済む。
【０１２４】
以上、本願発明を説明したが、本実施の形態で開示した機能手段をコンピュータで実行可能なプログラムによって、本願発明を実施することも可能である。この場合、第１の実施の形態においては、顔向き変換手段２、特定方向顔向き変換手段３等をコンピュータによって実現するプログラムを作成し、コンピュータに備えるＣＰＵ等によって当該プログラムを実行することによって、本願発明が実現可能である。
【０１２５】
【発明の効果】
第１の効果は、正面顔の左右対称性など、特定の顔向き方向に特化した特長を用いて顔向き評価を行うことができることである。
【０１２６】
このため、正面顔では、左右対称性を評価することでテンプレートを用いずに顔向き評価を行うことができる。その理由は、変換後の顔が特定方向の顔の特徴を最も満足する顔向き変換パラメータを探索することで顔向き推定を行うためである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のブロック図である。
【図２】 +３０度の方向を向いた入力顔画像を示す図である。
【図３】−２０度の顔立体形状モデルの正面へ変換を示す図である。
【図４】−２０度の顔立体形状モデルに入力画像をマッピングした図である。
【図５】顔の特徴点を示す図であり、左から両目、両口の端、鼻の穴、両眉の両端を示す図である。
【図６】 +３０度の顔立体形状モデルの正面へ変換を示す図である。
【図７】 +３０度の顔立体形状モデルに入力画像をマッピングした図である。
【図８】本発明の動作を説明するためのフローチャートである。
【図９】本発明の動作を説明するためのフローチャートである。
【図１０】本発明の第２の実施の動作を説明するためのフローチャートである。
【図１１】 +３０度の顔立体形状モデルの真横へ変換を示す図である。
【図１２】本発明の第３の実施の動作を説明するためのフローチャートである。
【図１３】本発明の第５の実施の動作を説明するためのフローチャートである。
【図１４】楕円体を用いた顔立体形状モデルを示す図である。
【図１５】照明変動を受けた画像の例を示す図である。
【図１６】本発明の第８の実施の形態のブロック図である。
【図１７】本発明の第９の実施の形態のブロック図である。
【図１８】マッピングを用いた顔向き方向変換の例を示す図である。
【図１９】マッピングを用いた顔向き方向変換の例を示す図である。
【図２０】従来技術を説明するブロック図である。
【符号の説明】
１ 画像入力装置
２ 顔向き変更手段
３ 特定方向顔向き評価手段
４ 顔向き出力手段
１０ 任意顔向きでの照明変動除去手段
１１ 特定顔向きでの照明変動除去手段
【発明の属する技術分野】
本発明は、入力された画像中の顔が向いている方向を推定する顔の向き推定装置およびその方法、並びに、顔の向き推定プログラム（以下、顔の向き推定方式と記載する）に関するものである。
【０００２】
【従来の技術】
従来、この種の技術として、特開２００１−２９１１０８号公報、特開平１１−２８１６６１号公報に記載の方式が知られている。特開２００１−２９１１０８号公報に記載の記載のブロック図を図２０に示す。この手法では、予め複数人の正面顔データを取得して平均顔を作成し、平均顔を３Dモデルに張り合わせて任意の角度回転させた画像を生成して、入力画像と最も相関度の高い角度の画像を決定することで入力画像の顔の向きを推定するように構成されている。
【０００３】
また、特開１１−２８１６６１号公報記載の手法では、肌色を抽出することで、両目および口の位置と顔幅を検出し、それらの位置関係から顔の向きを推定する。
【０００４】
【発明が解決しようとする課題】
これらの従来技術の第１の問題点は、正面方向など特殊な方向の特徴を利用することが困難で、全ての顔向き方向で同等の類似度計算を行う必要があることであり、顔向き方向の評価にテンプレートを生成する必要があることである。
【０００５】
その理由は、様々な顔向き方向のテンプレートとの類似度を比較することで入力画像の顔向きを推定するため、様々な顔向き画像での類似度の比較が必要なためであり、テンプレートは用いる顔データの人種（白人・黒人・黄色人種）による色や顔の形状の違いや、顔以外の領域（背景部分）の輝度などの影響を受けやすいことである。
【０００６】
本発明は、このような事情に鑑みてなされたもので、顔向き方向を精度よく検出する顔の向き推定方式を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明では以下の特徴により、上記の目的を達成している。
【０００８】
画像中の顔の向きを推定する顔向き推定装置において、
画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換手段と、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価手段とを備える。
【０００９】
また、前記顔向き推定装置において、顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、前記照明変動除去手段は、前記顔向き変換手段により作成された顔向き変換顔について照明変動の影響を除去した画像を生成し、前記特定方向顔向き評価手段は、前記照明変動の影響が除去された画像を用いて、顔の向きを推定することを特徴とする。
【００１０】
また、前記顔向き推定装置において、
顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、
前記照明変動除去手段は、
前記画像について照明変動の影響を除去した画像を生成し、
前記顔向き変換手段は、
前記照明変動除去手段で生成した画像中の顔の向きを変換する画像処理を施し、
顔向き変換顔を作成することを特徴とする。
【００１１】
また、前記顔向き推定装置において、前記特定方向顔向き判定手段は、複数の特定方向顔画像の平均を求めることにより特定方向平均顔を予め生成しておき、前記顔向き変換顔と上記特定方向平均顔との類似度により特定方向顔向き評価を行うことを特徴とする。
【００１２】
また、前記顔向き推定装置において、前記特定方向顔向き評価手段は、前記画像中の顔の向きを評価する方向として正面を用い、前記顔向き変換顔の正面顔らしさを評価する正面顔向き評価手段を備えたことを特徴とする。
【００１３】
また、前記顔向き推定装置において、前記正面顔向き評価手段は、前記特定方向顔向き評価手段が前記正面顔向き評価を顔向き変換顔の左右対称性の度合いにより正面向き評価することを特徴とする。
【００１４】
また、前記顔向き推定装置において、前記正面顔向き評価手段は、人物の正面顔の左右対称性の度合いを評価するために、前記特定方向顔向き評価手段が顔とその顔を左右反転した顔との類似度を計ることで正面顔評価を行うことを特徴とする。
【００１５】
また、前記顔向き推定装置において、前記特定方向顔向き評価手段は、前記画像中の顔の向きを評価する方向として真横を用い、前記顔向き変換顔の真横顔らしさを評価する真横顔向き評価手段を備えたことを特徴とする。
【００１６】
また、前記顔向き推定装置において、前記顔向き変換手段は、人物顔の特徴点の画像上の位置を用い、画像上の顔の向きを変更することを特徴とする。
【００１７】
また、前記顔向き推定装置において、前記顔向き変換手段は、人物顔の特徴点として両目、口の両端、鼻の左右の穴、両眉のうち、いずれか１つ、またはいずれかの組み合わせを用いることを特徴とする。
【００１８】
また、前記顔向き推定装置において、前記顔向き変換手段は、人物顔の特徴点として目、口の端、鼻の穴、眉のうち、いずれか１つ、またはいずれかの組み合わせを用いることを特徴とする。
【００１９】
また、前記顔向き推定装置において、前記顔向き変換手段は、人の顔の立体形状を記述した顔立体形状モデルに顔画像をマッピングし方向変換させることを特徴とする。
【００２０】
また、前記顔向き推定装置において、前記顔向き変換手段は、人の顔の立体形状モデルとして複数人の顔形状の平均として記述した顔立体形状モデルを用いることを特徴とする。
【００２１】
また、前記顔向き推定装置において、前記顔向き変換手段は、前記顔立体形状モデルとして楕円体を用いることを特徴とする。
【００２２】
また、前記顔向き推定装置において、前記顔向き変換手段は、画像上の顔の向き変更を顔領域のイメージ・ワーピングにより行うことを特徴とする。
【００２３】
また、前記顔向き変換手段において、画像上の顔の向きを変更するワーピング手段として予め学習画像により生成した変換パラメータを入力画像に適用することで顔向きを変更することを特徴とする。
【００２４】
また、前記顔向き推定装置において、前記顔向き推定方向をいくつかの特定方向カテゴリーとして出力することを特徴とする。
【００２５】
また、前記顔向き推定装置において、特定方向カテゴリーとして正面・上・下・右・右上・右下・左・左上・左下の９種類のうち、いずれか一種類またはその組み合わせを用いることを特徴とする。
【００２６】
また、前記顔向き推定装置において、前記特定方向カテゴリーそれぞれを代表する方向のみに対し顔向き変換および評価を行うことで顔向きを特定方向カテゴリーとして出力することを特徴とする。
【００２７】
さらに、本願発明は、画像中の顔の向きを推定する顔向き推定方法において、画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換ステップと、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価ステップと、
を含むことを特徴とする。
【００２８】
さらに、本願発明は、画像中の顔の向きを推定する顔向き推定プログラムにおいて、
画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換ステップと、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価ステップと、
をコンピュータに実行させることを特徴とする。
【００２９】
【発明の実施の形態】
以下、本発明の一実施形態による顔向き推定装置を図面を参照して説明する。
【００３０】
まず、本発明における顔向き推定の原理を説明する。
【００３１】
なお、顔の向きを表す方向の尺度として、カメラ等の撮像媒体に対して被撮影者から見て右を向いている場合は＋で、左側を向いている場合は−、上を向いている場合は＋、下を向いている場合は−の角度を用いることとする。特に明記しない場合、φは左右方向、θは上下方向の角度を表すものとする。γ、ψはφ,θの組み合わせで表される３次元方向とする。
【００３２】
例えば、正面以外の方向を向いている顔に対し−ψ分の顔向き変換を施したとき、変換後の顔が正面顔であれば、変換前の顔はψの方向を向いていることとなる。一般的に、γ以外の方向を向いている顔に対しγ−ψ分の顔向き変換を施したとき、変換後の顔がγの方向を向いた顔であれば、変換前の顔はψの方向を向いていることとなる。
【００３３】
この顔向き変換の方法としては、入力画像中の顔に顔立体形状モデルを当てはめて方向変換を行う方法などが用いられる。
【００３４】
顔立体形状モデルとは人物の顔形状を３次元であらわしたモデルである。レンジファインダ等の計測器を用い、複数人物の顔形状を計測し、その平均を用いることで作成することができる。
【００３５】
顔立体形状モデルに関しては、特開２０００−３２２５７７号公報「画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体」に詳しい。
【００３６】
しかし、このようなモデルを当てはめる方法では、入力画像中の顔向き方向および顔の位置が既知であることが要求される。
【００３７】
このため、本発明では、変換前の顔向き方向をψと仮定し、ψ方向を向いた人物顔モデルを作成し、そのモデルをγ方向へ（γ−ψ）の方向変換を行うことで、γの方向の顔向き変換をおこなうこととする。
【００３８】
補正後の顔向き方向の角度γとしては、任意の角度について行っても良いが、以下では特にγ(φ,θ)＝(0,0)度の場合、つまり正面顔への顔向き変換について説明する。
【００３９】
上記の顔向き変換方法の動作について、図２に示す横に+３０度を向いた顔を含んだ入力画像を例に説明する。
【００４０】
ここでは、θ＝０として顔向き方向を横に限定して説明するが、縦向き方向の変化に対しても角度（φ,θ）の組み合わせが増えるのみで原理的には変らないため同様の処理で行うことができる。
【００４１】
まず、入力画像の顔の向きは未知であるため、顔の向きをφ＝−２０度と仮定する。この場合、図３に示すような−２０度傾いた顔立体形状モデルを用意する。図４のように、顔の特徴点として得られた両目の位置を利用してこのモデルと入力顔画像の位置あわせを行う。図１８に示したように、入力画像の画素Pを顔立体形状モデルに平行投影する。この処理を画像上の全ての画素Pに対して行うことをマッピングと呼ぶ。次に、入力画像をマッピングした顔モデルが正面を向くように+２０度変換を行い、平行投影により顔向き変換顔画像を生成する。しかし、+３０度を向いた顔を−２０度向いた顔と誤って仮定しているため、正しいマッピングを行えず、得られる変換後の顔は正面顔とはならない。
【００４２】
続いて、図２の入力顔画像の向きを＋３０度と仮定した場合では、得られた両目の位置を利用し、図６の＋３０度傾いた顔立体形状モデルに入力顔画像を図７に示すように位置合わせすることができる。そして、図１９に示すようにマッピングした顔モデルが正面を向くように−３０度変換を行い、平行投影により顔向き変換顔画像を生成する。この場合、変換後の顔は正面顔となり、正面顔評価により正面顔と判定されることで＋３０度の仮定が正しいかの判定を行える。
【００４３】
このように、入力画像の顔向きをφと設定し、φを向いた顔立体形状モデルに入力顔画像をマッピングし、−φ変換を行い作成される顔向き変換顔が正面顔であれば、入力画像の顔向きがφとなり、入力画像中の顔の向きを判定することができる。つまり、入力画像中の顔向き方向の判定精度を顔向き変換後の顔の特定方向顔向き顔との類似度として評価することができるため、例えば、特定の方向として正面とすると、人物の正面顔の特徴を利用した評価を行えることが特徴となる。
【００４４】
なお、上記の説明ではマッピングでの位置合わせに用いる顔の特徴点として、両目の位置を用いて説明したが、図５に示すように両目以外にも、口の両端、鼻の両穴、両眉の両端の位置を用いることもできる。以下、特徴点として両目の位置を用いることとして説明を行う。
【００４５】
（構成の説明）
次に、本発明の実施の形態について図面を参照して詳細に説明する。ここでは以下、特定方向を正面として説明する。
【００４６】
図１を参照すると、本発明の実施の形態は画像入力手段１と、顔向き変換手段２と、特定方向顔向き評価手段３と、顔向き出力手段４とを含む。
【００４７】
画像入力手段１では、顔が写っている画像をデジタル情報として取得する。取得方法としては、デジタルカメラ、ビデオカメラ等の撮像デバイスを用いても、写真などをスキャナにより取り込んでもよい。
【００４８】
顔向き変換手段２では、入力された画像中の顔向きを別の方向に変換する処理を施す。例えば、入力された顔画像に対し、顔向き方向をφと仮定し、（γ−φ）角度分変換する画像処理を施す。顔向き変換手段２は、例えば、図示しない記憶装置などに保存された顔立体形状モデルを参照することにより、φ方向を向いた顔モデルをγ方向顔へ変換する画像処理を施すことで実現できる。なおこの場合、例えば、＋９０度から−９０度の１度毎に顔立体形状モデルを記憶装置に保存しておく。特定方向顔向き評価手段３では、変換後の顔向きが特定方向を向いているかの評価を行う。前例では、変換された顔向きがγ方向を向いた顔かの評価を行う。顔向き変換手段２および特定方向顔向き評価手段３はループ構成であり、様々な顔向きにおける評価を行う。
【００４９】
顔向き出力手段４では、特定方向顔向き評価手段３での評価を用いて、特定方向の顔向き変換を行った変換量を求め、入力画像における顔向きを計算し、出力する。
【００５０】
（動作の説明）
以下、図８に示すフローチャートを用いて第一の実施形態における顔向き推定の動作を説明する。画像入力手段１では、画像を取得し（ステップA１）、
取得した画像の両目の位置を抽出し、それぞれ（Er,El）とする（ステップA２）。両目の位置の取得方法については、ユーザーが手動で与えても、特開平１１−２８１６６１号公報のように肌色領域内を目のテンプレートマッチングにより自動で抽出しても構わない。
【００５１】
なお、画像によって顔の位置や大きさが異なると処理が複雑になるため、左右対称な特徴点（両目）の間隔距離を用いて、大きさを揃える処理を行う。入力画像中の左右対称な顔の特徴点として、ここでは両目の位置を用いることとするが口の両端や鼻の穴の位置などを用いても構わない。例えば、２５６ｘ２５６画素サイズの画像に対し、両目の位置を被撮像者の右目の座標を（９７，１００）、左目の座標を（１６０，１００）にするように画像を幾何学変換（平行移動・縮小拡大・回転）操作で行うことができる。
【００５２】
顔向き変換手段２では、入力手段１で得られた両目の位置を利用して、顔立体形状モデルにより顔向きを変更する。ただし、入力画像中の顔の向きが未知であるため、顔の向きをφと仮定し、入力画像の顔向きと最も類似するφ方向を向いた顔立体形状モデルを以下のステップで抽出する。
【００５３】
まず、ある探索角φに対し、φ度向きの顔立体形状モデルを生成する（ステップA3）。この顔立体形状モデルへと入力画像の顔の位置合わせを行い、顔立体形状モデルにマッピングする（ステップA４）。そして、０度（正面）へ−φ度の向き補正（ステップA5）を行う。
【００５４】
特定方向顔向き評価手段３では、顔向き補正後の顔の正面らしさ表す評価尺度として正面顔度を計算する（ステップA6）。
【００５５】
正面顔度の計算方法としては、予め一人または複数人の正面画像から正面を向いた人物の顔テンプレートを作成しておき、このテンプレートと補正画像との輝度値の差分の絶対値をとることで類似度を計算することができる。計算方法としては、式（１）に示すように原画像とテンプレート画像との差の絶対値を総画素数で割ったものの総和を正面顔度S1とする方法を用いる。
【００５６】
【数１】
ただし、F(x,y)、T(x,y)はそれぞれ入力画像およびテンプレート画像の座標(x,y)における輝度値を表す関数であり、Xmax,Ymaxはそれぞれ画像の横および縦幅を表す定数である。
【００５８】
顔の向きの探索角φが設定角度内かの判定を行う（ステップ７）。とり得る範囲としては真横より前向きの顔の向きが推定角度の対象となるため、設定角度は-９０度から+９０度となるが、顔向きの角度が予め限定されている場合は、限定角度内で探索を行うと良い。探索角度が範囲内の場合は、探索角度を新たに仮定し、ステップ３，４，５，６の処理を繰り返す（ステップA８）。
【００５９】
新たに仮定する角度は前回の探索角度を１度増やしたものとする。顔向き推定角度の精度を上げたい場合は増やす幅を細かく、精度を落しても顔向き推定処理の速度をあげたい場合では、増やす幅を粗くすると良い。
【００６０】
顔向き出力手段４では、設定角度内の探索終了後に、最も正面顔度が高くなる変換を行った顔向き角度を出力することで、顔向き推定を行う（ステップA９）。
【００６１】
上記では顔向き方向が横向き方向のみの場合について説明したが、縦方向を加えた場合については、図９に示すフローチャートを用いて本発明の動作の説明を行う。
【００６２】
図９において、上下方向の角度θを制御するステップA１７、A１８を設けたことと、A３に代わり上下方向の角度θにも対応した３Dモデル作成ステップA１３を設けたこと、A９に代わり上下方向の角度θにも対応した顔向き方向出力ステップA１９を設けたこと以外は図８と同様の構成となっており、同一構成要素には同一符号を付してある。
【００６３】
顔向き変換手段２では、探索範囲内の(φ,θ)の全ての組み合わせをについて３Dモデルを生成する（図９ステップA１３）。
【００６４】
特定方向顔向き評価手段３では、正面顔度を計算することで、最も正面顔度の高い(φ,θ)を出力することで顔向き推定を行う（ステップA１９）。
【００６５】
上記の設定角度範囲内を全て探索する方法以外では、評価値があるしきい値を超えた場合に、ループ処理を打ち切りその角度を出力する方法を用いても良い。
【００６６】
（発明の他の実施の形態）
（第２の実施形態）
次に、第２の実施形態を図１０を参照して詳細に説明する。図１０は本発明の第２の実施形態による顔向き推定の主要部構成を示すフローチャート図である。
【００６７】
図１０において、第２の実施形態による顔向き推定の主要部は左右対称度を計算するステップA２６を設けた以外は図８に示す第一の実施形態による顔向き推定装置の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【００６８】
人物の正面顔はほぼ左右対称となるため、左右対称性を計ることで正面顔度を計算することができる。正面顔の左右対称性を利用する正面顔度評価方法では、顔テンプレートを予め作成する必要がないことや、自分自身の顔のみを用いて計算するため、各個人により異なる肌の色・顔の形に影響を受けずに計算を行える。
特定方向顔向き評価手段３では、計算方法として式（２）に示すように、左右反転させた画像と原画像との比較により左右対称の度合いにより正面顔度S2を計算する。これにより横向き方向の顔の向きφを推定する。（ステップA26）
本方法を用いて横向き方向φを最初に推定したのち、図９に示した方法を用いて上下方向の向きθを推定することも可能である。
【００６９】
【数２】
（第３の実施形態）
次に、第３の実施形態を図１０を参照して詳細に説明する。以上の説明では、変換後の角度を０度、つまり正面としたが、正面以外の角度を利用してもよく、図１１のように、例えば真横の９０度としてもよい。つまりこの場合では、入力画像の顔向きをφと仮定し、φ傾いた顔立体形状モデルに入力顔画像をマッピングし、（９０−φ）度変換を行った際に顔向き変換顔が真横顔であれば、入力画像の顔向きがφと判定できる。
【００７１】
図１２は本発明の第３の実施形態による顔向き推定方法の主要部構成を示すフローチャート図である。図１２において、本発明の第３の実施形態による顔向き推定方法の主要部は顔モデルを真横へ向き補正するステップA３５と顔向き変換顔の真横顔らしさ表す真横顔類似度を計算するステップA３６とを設けた以外は図８に示す第1の実施形態による顔向き推定方法の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【００７２】
（第４の実施形態）
次に、第４の実施形態を図１３を参照して詳細に説明する。
【００７３】
いままでの説明では、入力画像中の顔向き（φ,θ）を求めるために、ループによる探索をおこなったが、並列に処理することもできる。図１３は本発明の第４の実施形態による顔向き推定方法の主要部構成を示すフローチャート図である。図１３において、第４の実施形態による顔向き推定方法の主要部は図９に示す本発明の第一の実施形態による顔向き推定方法の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【００７４】
様々な探索角度での正面顔度評価は、様々な角度での補正画像を並列に作成し、その中から最良の角度を抽出する。例えば、−９０度から＋９０度までの5度おきの角度に対しての処理を並列に行い、最も高い正面顔度を持つ角度を出力する。
【００７５】
（第５の実施形態）
次に、第５の実施形態を図１４を参照して詳細に説明する。第５の実施形態は、第１の実施形態における顔立体形状モデルとして、楕円体モデルを用いる。本発明の第１〜４の実施形態は上記説明では、顔立体形状モデルを用いて顔向変換を行ったが、顔立体形状モデルとは人物の顔形状を３次元であらわしたモデルであるため、情報量が多く、顔向き変換処理も複雑となり、大型コンピュータ以外では処理時間がかかり有効とならない場合がある。
【００７６】
このような場合では、簡略化した顔立体モデルを用いると良い。簡略化顔立体モデルとしては、図１４に示すような楕円体を用いる。図１４の＋印で示したように、楕円体の表面上に両目の位置を定義し顔立体モデルとする。これにより、処理時間を短縮することが出来る。
【００７７】
（第６の実施形態）
次に、第６の実施形態を詳細に説明する。
【００７８】
本発明の第６の実施形態は、第１〜５の実施形態における顔立体形状モデルによる顔向き変換手段に代わり、イメージ・ワーピングを用いた顔向き変換を行うことを特徴とする。
【００７９】
ワーピングとは人の顏が動物の顔へ移行するような例で言えば、目の位置や、顔の輪郭を対応づけすることにより、画素の色だけでなく形全体が対応づけられた場所へと移動するようにワープさせる画像処理である。これにより、顔の向き変換は、物理的な立体モデルを用なくとも、画像の変換パラメータを学習画像により学習させることで行える。
【００８０】
例えば、人物Ａの正面向きの顔画像をImgA0、人物Ａの+30度向きの顔画像をImgＡ30とした際に、ImgA0の画素がImgＡ30のどの画素に対応しているかを示す変換パラメータは、オプティカルフローに代表される変換ベクトルで表すことができ、この変換ベクトルを
【００８１】
【数３】
とする。このとき、人物Ｂの正面向きの顔画像をImgB0、ImgＡ0の画素がImgB0のどの画素に対応しているかを示す変換ベクトルを
【００８３】
【数４】
とすると、人物Bの+30度向きの顔画像ImgB30は、ImgＡ0を
【００８５】
【数５】
変換することで求めることができる。
【００８７】
この変換パラメータの推定および変換画像の合成については、D. Beymer, A. Shashua, and T. Poggio, Example Based Image Analysis and Synthesis, A.I.Memo 1431, MIT, 1993に詳しい。
【００８８】
（第７の実施形態）
次に、第７の実施形態を詳細に説明する。
【００８９】
本発明の第７の実施形態は、第１〜６の実施形態における顔向き推定方向の出力を特定方向のカテゴリーとして出力することを特徴とする。
【００９０】
第１〜６の実施形態では、顔向き推定方向の出力を角度（φ,θ）として出力しているが、正確な顔向き推定が必要なく、ラフな顔向きのみでよい用途では、顔向き方向をおおまかなカテゴリーに分類し、そのカテゴリーを出力することもできる。
【００９１】
例えば、顔向き方向を正面・上・下・右・右上・右下・左・左上・左下の９つのカテゴリーに分類し、出力するとよい。カテゴリーへの分類方法としては、推定方向の角度（φ,θ）を以下のようなしきい値処理により行う。
正面： −５＜=φ＜＝＋５ かつ −５＜=θ＜=＋５
上： −５＜φ＜＋５ かつ ＋５＜θ
下： −５＜φ＜＋５ かつ θ＜−５
右： φ＜−５ かつ −５＜θ＜＋５
右上： φ＜−５ かつ ＋５＜θ
右下： φ＜−５ かつ θ＜−５
左： ＋５＜φ かつ −５＜θ＜＋５
左上： ＋５＜φ かつ ＋５＜θ
左下： ＋５＜φ かつ θ＜−５
また、９つのカテゴリーを代表する角度（φ，θ）に対し正面顔度をそれぞれ計算し、最も高い正面顔度をもつカテゴリーを出力させると、正面顔度の計算回数がカテゴリー数となるため、計算コストを減少させることができる。上記の例では、代表方向の角度（φ，θ）として例えば、
正面： (0,0)
上： (0,+10)
下： (0,-10)
右： (-10,0)
右上： (-10,+10)
右下： (-10,-10)
左： (+10,0)
左上： (+10,+10)
左下： (+10,-10)
の９通りの組み合わせ例を選び、これらのみを用いて顔向き方向のカテゴリー分類を行うことができる。
【００９２】
（第８及び第９の実施形態）
次に、第８，９の実施形態を図１６および図１７を参照して詳細に説明する。図１６,１７はそれぞれ第８および第９の実施形態による顔向き推定装置の主要部構成を示すブロック図である。
【００９３】
図１６,１７において、第８および第９の実施形態による顔向き推定装置の主要部は照明変動除去手段１０，１１を設けた以外は図１に示す本発明の第一の実施形態による顔向き推定装置の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【００９４】
また、同一構成要素の動作は本発明の第１の実施形態による顔向き推定装置の主要部と同様である。本発明の第８および第９の実施形態は、入力画像中の顔が照明方向の影響を受けている場合に用いる。
【００９５】
照明方向の影響とは、図１５に示すように、顔の向きに関わらず、照明光源の方向や光源の強度の違いにより、顔の明るさが異なるため、同一方向を向いた顔であっても輝度値が異なることを言う。
照明変動除去は、顔画像（Xmax,Ymax）の画素をXmax×Ymax次元のベクトル
【００９６】
【数６】
とみなして作られる画像空間による方法を用いる。
【００９８】
ある顔向きにおける様々な照明変動を受けたN個の顔画像ベクトル
【００９９】
【数７】
が張る照明変動空間は、画像空間において凸錐体をなしている。この照明変動空間の大部分は、低次元の線形空間に含まれているため、入力画像における照明変動の成分はこれらの低次元の線形空間で近似できることが知られている。
【０１０１】
そこで、照明変動成分を表す空間の基底ベクトルを主成分分析を用いて求める。式（３）に示すように、画像ベクトル
【０１０２】
【数８】
を並べて作成される行列Sの共分散行列Vを求め、Vの固有値σiが大きい順に固有ベクトル
【０１０４】
【数９】
をM個求める。
【０１０６】
【数１０】
【数１１】
は照明変動下での平均的な顔成分を表しているため、入力画像の顔画像ベクトルに含まれる照明変動成分は、M−1個の固有ベクトル
【０１０９】
【数１２】
を用いて近似することができる。つまり、
【０１１１】
【数１３】
が照明変動成分を表す空間の基底ベクトルとなる。入力画像の顔画像ベクトルを、固有ベクトル
【０１１３】
【数１４】
に射影したベクトル
【０１１５】
【数１５】
が入力画像中の照明変動を表しており、入力画像から照明変動成分
【０１１７】
【数１６】
を差し引くことで照明変動を除去することができる。詳しくは、「照明条件と姿勢の両者の自動補正による顔照合」電子情報通信学会信学技報PRMU2001-162 pp.59-64を参照のこと。
【０１１９】
上記の照明変動除去処理を、想定される顔向き範囲の様々な顔向き画像に対して予め行っておくことで、任意の入力画像の顔向きに対し、照明変動除去を行うことができる。
【０１２０】
次に、第８の実施形態を図１６を参照して詳細に説明する。図１６に示す実施形態が図１に示す第１の実施形態と異なる点は、任意顔向きでの照明変動除去手段１０を設けた点である。任意顔向きでの照明変動除去手段１０は、画像入力手段１で取得した顔画像における照明変動除去を行う。
【０１２１】
入力画像の照明変動成分を除去した上で顔向き変更および顔向き評価を行うことで顔向き判定を行う。
【０１２２】
次に、第９の実施形態を図１７を参照して詳細に説明する。
【０１２３】
図１７に示す実施形態が図１に示す第１の実施形態と異なる点は、特定顔向きでの照明変動除去手段１１を設けた点である。特定顔向きでの照明変動除去手段１１は、顔向き変換手段２で特定方向へ顔向き変換した顔画像における照明変動除去を行う。このため、図１６に示した実施形態のように任意の顔向きに対する照明変動除去が不要となり、特定の顔向きγに対して照明変動除去を行うだけで済む。
【０１２４】
以上、本願発明を説明したが、本実施の形態で開示した機能手段をコンピュータで実行可能なプログラムによって、本願発明を実施することも可能である。この場合、第１の実施の形態においては、顔向き変換手段２、特定方向顔向き変換手段３等をコンピュータによって実現するプログラムを作成し、コンピュータに備えるＣＰＵ等によって当該プログラムを実行することによって、本願発明が実現可能である。
【０１２５】
【発明の効果】
第１の効果は、正面顔の左右対称性など、特定の顔向き方向に特化した特長を用いて顔向き評価を行うことができることである。
【０１２６】
このため、正面顔では、左右対称性を評価することでテンプレートを用いずに顔向き評価を行うことができる。その理由は、変換後の顔が特定方向の顔の特徴を最も満足する顔向き変換パラメータを探索することで顔向き推定を行うためである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のブロック図である。
【図２】 +３０度の方向を向いた入力顔画像を示す図である。
【図３】−２０度の顔立体形状モデルの正面へ変換を示す図である。
【図４】−２０度の顔立体形状モデルに入力画像をマッピングした図である。
【図５】顔の特徴点を示す図であり、左から両目、両口の端、鼻の穴、両眉の両端を示す図である。
【図６】 +３０度の顔立体形状モデルの正面へ変換を示す図である。
【図７】 +３０度の顔立体形状モデルに入力画像をマッピングした図である。
【図８】本発明の動作を説明するためのフローチャートである。
【図９】本発明の動作を説明するためのフローチャートである。
【図１０】本発明の第２の実施の動作を説明するためのフローチャートである。
【図１１】 +３０度の顔立体形状モデルの真横へ変換を示す図である。
【図１２】本発明の第３の実施の動作を説明するためのフローチャートである。
【図１３】本発明の第５の実施の動作を説明するためのフローチャートである。
【図１４】楕円体を用いた顔立体形状モデルを示す図である。
【図１５】照明変動を受けた画像の例を示す図である。
【図１６】本発明の第８の実施の形態のブロック図である。
【図１７】本発明の第９の実施の形態のブロック図である。
【図１８】マッピングを用いた顔向き方向変換の例を示す図である。
【図１９】マッピングを用いた顔向き方向変換の例を示す図である。
【図２０】従来技術を説明するブロック図である。
【符号の説明】
１ 画像入力装置
２ 顔向き変更手段
３ 特定方向顔向き評価手段
４ 顔向き出力手段
１０ 任意顔向きでの照明変動除去手段
１１ 特定顔向きでの照明変動除去手段
Claims (21)
- 画像中の顔の向きを推定する顔向き推定装置において、
第一画像中の顔の向きを角度ψ回転させて変換する画像処理を施すことにより
顔向き変換顔の第二画像を作成する顔向き変換手段と、
前記第二画像とある特定角度γの顔向き顔の第三画像との類似度について評価し、
前記顔向き変換顔が特定角度γを向いている信頼度を算出する特定方向顔向き評価手段と、を備え
前記特定方向顔向き評価手段の評価結果に基づいて
前記特定角度顔信頼度の最も高い顔向き変換顔を作成する際に用いた回転の角度ψと前記特定角度γとの差分（γ―ψ）を画像中の顔向き角度として推定することを特徴とする顔向き推定装置。 - 請求項１に記載の顔向き推定装置において、
顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、
前記照明変動除去手段は、前記顔向き変換手段により作成された顔向き変換顔について照明変動の影響を除去した画像を生成し、
前記特定方向顔向き評価手段は、前記照明変動の影響が除去された画像を用いて、顔の向きを推定することを特徴とする顔向き推定装置。 - 請求項１に記載の顔向き推定装置において、
顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、
前記照明変動除去手段は、前記画像について照明変動の影響を除去した画像を生成し、
前記顔向き変換手段は、前記照明変動除去手段で生成した画像中の顔の向きを変換する画像処理を施し、顔向き変換顔を作成することを特徴とする顔向き推定装置。 - 請求項１〜３のいずれか一項に記載の顔向き推定装置において、
前記特定方向顔向き評価手段は、前記顔向き変換顔と前記特定角度の複数の顔画像の平均画像から作成された特定角度平均顔の画像と前記第二画像との類似度を評価し、前記顔向き変換顔がある特定角度を向いている信頼度を算出することを特徴とする顔向き推定装置。 - 請求項１〜４のいずれか一項に記載の顔向き推定装置において、
前記特定方向顔向き評価手段は、
前記画像中の顔の向きを推定する方向として正面を用い、前記顔向き変換顔の正面顔らしさを評価する正面顔向き評価手段を備えたことを特徴とする顔向き推定装置。 - 請求項５に記載の顔向き推定装置において、
前記正面顔向き評価手段は、
前記特定方向顔向き評価手段が前記正面顔向き評価を顔向き変換顔の左右対称性の度合いにより正面向き評価することを特徴とする顔向き推定装置。 - 請求項６に記載の顔向き推定装置において、
前記正面顔向き評価手段は、
人物の正面顔の左右対称性の度合いを評価するために、前記特定方向顔向き評価手段が顔とその顔を左右反転した顔との類似度を計ることで正面顔評価を行うことを特徴とする顔向き推定装置。 - 請求項１〜４のいずれか一項に記載の顔向き推定装置において、
前記特定方向顔向き評価手段は、
前記画像中の顔の向きを評価する方向として真横を用い、前記顔向き変換顔の真横顔らしさを評価する真横顔向き評価手段を備えたことを特徴とする顔向き推定装置。 - 請求項１〜８のいずれか一項に記載の顔向き推定装置において、
前記顔向き変換手段は、
人物顔の特徴点の画像上の位置を用い、画像上の顔の向きを変更することを特徴とする顔向き推定装置。 - 請求項１〜９のいずれか一項に記載の顔向き推定装置において、前記顔向き変換手段は、前記第二画像として、上下方向または左右方向に角度ψ（φ，θ）ごとに回転させて変換した画像を複数画像作成し、前記特定方向顔向き評価手段において、前記複数画像のそれぞれと第三画像との類似度について評価を行うことを特徴とする顔向き推定装置。
- 請求項９に記載の顔向き推定装置において、
前記顔向き変換手段は、人物顔の特徴点として目、口の端、鼻の穴、眉のうち、いずれか１つ、またはいずれかの組み合わせを用いることを特徴とする顔向き推定装置。 - 請求項９〜１１のいずれか一項に記載の顔向き推定装置において、
前記顔向き変換手段は、人の顔の立体形状を記述した顔立体形状モデルに顔画像をマッピングし方向変換させることを特徴とする顔向き推定装置。 - 請求項１２に記載の顔向き推定装置において、
前記顔向き変換手段は、人の顔の立体形状モデルとして複数人の顔形状の平均として記述した顔立体形状モデルを用いることを特徴とする顔向き推定装置。 - 請求項１２に記載の顔向き推定装置において、
前記顔向き変換手段は、前記顔立体形状モデルとして楕円体を用いることを特徴とする顔向き推定装置。 - 請求項９〜１１のいずれか一項に記載の顔向き推定装置において、
前記顔向き変換手段は、画像上の顔の向き変更を顔領域のイメージ・ワーピングにより行うことを特徴とする顔向き推定装置。 - 請求項１５に記載の顔向き変換手段において、
画像上の顔の向きを変更するワーピング手段として予め学習画像により生成した変換パラメータを入力画像に適用することで顔向きを変更することを特徴とする顔向き推定装置。 - 請求項１〜１６のいずれか一項に記載の顔向き推定装置において、
前記顔向き推定方向をいくつかの特定方向カテゴリーとして出力することを特徴とする顔向き推定装置。 - 請求項１７に記載の顔向き推定装置において、特定方向カテゴリーとして正面・上・下・右・右上・右下・左・左上・左下の９種類のうち、いずれか一種類またはその組み合わせを用いることを特徴とする顔向き推定装置。
- 請求項１７、１８のいずれか一項に記載の顔向き推定装置において、
前記特定方向カテゴリーそれぞれを代表する方向のみに対し顔向き変換および評価を行うことで顔向きを特定方向カテゴリーとして出力することを特徴とする顔向き推定装置。 - 画像中の顔の向きを推定する顔向き推定方法において、
第一画像中の顔の向きを角度ψ回転させて変換する画像処理を施すことにより顔向き変換顔の第二画像を作成する顔向き変換ステップと、
前記第二画像とある特定角度γの顔向き顔の第三画像との類似度について評価し、前記顔向き変換顔がある特定角度を向いている信頼度を算出する特定方向顔向き評価ステップと、を含み、
前記特定方向顔向き評価ステップにおける評価結果に基づいて、前記特定角度顔信頼度の最も高い顔向き変換顔を作成する際に用いた回転の角度ψと前記特定角度γとの差分（γ―ψ）を 画像中の顔向き角度として推定することを特徴とする顔向き推定方法。 - 画像中の顔の向きを推定する顔向き推定プログラムにおいて、
第一画像中の顔の向きを角度ψ回転させて変換する画像処理を施すことにより顔向き変換顔の第二画像を作成する顔向き変換ステップと、
前記第二画像とある特定角度γの顔向き顔の第三画像との類似度について評価し、前記顔向き変換顔がある特定角度を向いている信頼度を算出する特定方向顔向き評価ステップと、を含み、
前記特定方向顔向き評価ステップにおける評価結果に基づいて
前記特定角度顔信頼度の最も高い顔向き変換顔を作成する際に用いた回転の角度ψと前記特定角度γとの差分（γ―ψ）を 画像中の顔向き角度として推定するステップと、をコンピュータに実行させることを特徴とする顔向き推定プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002253328A JP4238542B2 (ja) | 2002-08-30 | 2002-08-30 | 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム |
| PCT/JP2003/010742 WO2004025564A1 (ja) | 2002-08-30 | 2003-08-26 | 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002253328A JP4238542B2 (ja) | 2002-08-30 | 2002-08-30 | 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004094491A JP2004094491A (ja) | 2004-03-25 |
| JP4238542B2 true JP4238542B2 (ja) | 2009-03-18 |
Family
ID=31986281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002253328A Expired - Lifetime JP4238542B2 (ja) | 2002-08-30 | 2002-08-30 | 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP4238542B2 (ja) |
| WO (1) | WO2004025564A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4130820B2 (ja) | 2004-08-27 | 2008-08-06 | 株式会社豊田中央研究所 | 顔中心位置検出装置及び方法並びにプログラム |
| JP2006158701A (ja) * | 2004-12-08 | 2006-06-22 | Hitachi Medical Corp | 医用画像処理装置 |
| JP2006227739A (ja) * | 2005-02-15 | 2006-08-31 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
| JP2006338329A (ja) | 2005-06-02 | 2006-12-14 | Seiko Epson Corp | 顔向き検出方法、顔向き検出装置、顔向き検出プログラムおよびそのプログラムを記録した記録媒体 |
| JP4501003B2 (ja) * | 2005-07-15 | 2010-07-14 | 国立大学法人静岡大学 | 顔姿勢検出システム |
| JP4830585B2 (ja) * | 2006-03-31 | 2011-12-07 | トヨタ自動車株式会社 | 画像処理装置および画像処理方法 |
| JP4577301B2 (ja) * | 2006-11-24 | 2010-11-10 | トヨタ自動車株式会社 | 顔向き検知装置 |
| JP4831623B2 (ja) * | 2007-03-29 | 2011-12-07 | Ｋｄｄｉ株式会社 | 動画像の顔インデックス作成装置およびその顔画像追跡方法 |
| JP2009025874A (ja) * | 2007-07-17 | 2009-02-05 | Nec Corp | 顔画像登録装置、顔識別装置、顔画像登録方法、顔識別方法、顔画像登録プログラム |
| JP5244345B2 (ja) * | 2007-08-09 | 2013-07-24 | パナソニック株式会社 | 顔認証装置 |
| JP2009199417A (ja) * | 2008-02-22 | 2009-09-03 | Denso Corp | 顔追跡装置及び顔追跡方法 |
| JP5127531B2 (ja) * | 2008-03-27 | 2013-01-23 | セコム株式会社 | 画像監視装置 |
| CN101673346B (zh) * | 2008-09-09 | 2013-06-05 | 日电（中国）有限公司 | 对图像进行处理的方法、设备和系统 |
| JP5127735B2 (ja) * | 2009-01-30 | 2013-01-23 | セコム株式会社 | 画像監視装置 |
| WO2011040513A1 (ja) * | 2009-10-01 | 2011-04-07 | 三洋電機株式会社 | 画像表示装置 |
| KR101184097B1 (ko) * | 2009-12-07 | 2012-09-18 | 삼성전자주식회사 | 얼굴 정면포즈 판단 방법 |
| WO2012005066A1 (ja) | 2010-07-07 | 2012-01-12 | 日本電気株式会社 | 画像処理学習装置、画像処理学習方法、および画像処理学習プログラム |
| WO2013011644A1 (ja) | 2011-07-15 | 2013-01-24 | パナソニック株式会社 | 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム |
| JP5656809B2 (ja) * | 2011-11-22 | 2015-01-21 | 日本電信電話株式会社 | 会話映像表示システム |
| WO2013176263A1 (ja) * | 2012-05-24 | 2013-11-28 | 株式会社日立国際電気 | 類似画像検索システム |
| JP5781017B2 (ja) * | 2012-06-05 | 2015-09-16 | 日本電信電話株式会社 | 映像会話システム |
| KR101791604B1 (ko) | 2012-09-11 | 2017-10-30 | 삼성전자주식회사 | 헤드 포지션 추정 방법 및 장치, 컴퓨터 판독가능 저장 매체 |
| WO2015005426A1 (ja) * | 2013-07-10 | 2015-01-15 | グローリー株式会社 | 顔照合装置、顔照合方法及び顔照合プログラム |
| JP6355307B2 (ja) * | 2013-07-10 | 2018-07-11 | グローリー株式会社 | 顔照合装置、顔照合方法及び顔照合プログラム |
| JP6355306B2 (ja) * | 2013-07-10 | 2018-07-11 | グローリー株式会社 | 顔照合装置、顔照合方法及び顔照合プログラム |
| JP6897082B2 (ja) | 2016-12-13 | 2021-06-30 | 富士通株式会社 | 顔向き推定用コンピュータプログラム、顔向き推定装置及び顔向き推定方法 |
| JP2018101212A (ja) * | 2016-12-19 | 2018-06-28 | 矢崎総業株式会社 | 車載器および顔正面度算出方法 |
| KR101906431B1 (ko) * | 2017-07-20 | 2018-10-11 | 네이버랩스 주식회사 | ２ｄ 이미지 인식에 기반한 ３ｄ 모델링 방법 및 그 시스템 |
| KR102236469B1 (ko) * | 2019-03-08 | 2021-04-07 | 동국대학교 산학협력단 | 운전자 부주의 측정 장치와 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11203455A (ja) * | 1998-01-09 | 1999-07-30 | Omron Corp | 画像生成装置、画像生成方法および記録媒体 |
| JP2000306095A (ja) * | 1999-04-16 | 2000-11-02 | Fujitsu Ltd | 画像照合・検索システム |
| JP3926059B2 (ja) * | 1999-05-12 | 2007-06-06 | 日本電気株式会社 | 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体 |
| JP4675492B2 (ja) * | 2001-03-22 | 2011-04-20 | 本田技研工業株式会社 | 顔画像を使用した個人認証装置 |
-
2002
- 2002-08-30 JP JP2002253328A patent/JP4238542B2/ja not_active Expired - Lifetime
-
2003
- 2003-08-26 WO PCT/JP2003/010742 patent/WO2004025564A1/ja active Application Filing
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11455864B2 (en) | 2018-07-25 | 2022-09-27 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2004025564A1 (ja) | 2004-03-25 |
| JP2004094491A (ja) | 2004-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4238542B2 (ja) | 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム | |
| US9881204B2 (en) | Method for determining authenticity of a three-dimensional object | |
| JP4556873B2 (ja) | 画像照合システム及び画像照合方法 | |
| KR100682889B1 (ko) | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 | |
| US8836777B2 (en) | Automatic detection of vertical gaze using an embedded imaging device | |
| US8331619B2 (en) | Image processing apparatus and image processing method | |
| KR101184097B1 (ko) | 얼굴 정면포즈 판단 방법 | |
| JP4723834B2 (ja) | 映像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置 | |
| US7486808B2 (en) | Image processing device, image processing method and image processing program | |
| US7876931B2 (en) | Face recognition system and method | |
| JP5836095B2 (ja) | 画像処理装置、画像処理方法 | |
| WO2009091029A1 (ja) | 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム | |
| JP4445454B2 (ja) | 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム | |
| JP4774818B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3926507B2 (ja) | 目位置及び顔位置検出装置 | |
| JP2007004767A (ja) | 画像認識装置、方法およびプログラム | |
| JP2007249280A (ja) | 特徴点検出装置、特徴点検出方法および特徴点検出プログラム | |
| JP2000105829A (ja) | 顔パーツ検出方法及びその装置 | |
| JP4874914B2 (ja) | 顎位置算出装置、それを用いた画像処理装置および顎位置算出方法並びにプログラム | |
| JPWO2020213166A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP2012068948A (ja) | 顔属性推定装置およびその方法 | |
| JP2004038531A (ja) | 物体の位置検出方法および物体の位置検出装置 | |
| JP4816874B2 (ja) | パラメータ学習装置、パラメータ学習方法、およびプログラム | |
| JP2000268161A (ja) | 実時間表情検出装置 | |
| JP7107380B2 (ja) | 推定装置、推定方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20021129 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050308 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050715 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070115 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20080606 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081125 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081208 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4238542 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| EXPY | Cancellation because of completion of term |