JP4377472B2 - 顔画像処理装置 - Google Patents
顔画像処理装置 Download PDFInfo
- Publication number
- JP4377472B2 JP4377472B2 JP06007999A JP6007999A JP4377472B2 JP 4377472 B2 JP4377472 B2 JP 4377472B2 JP 06007999 A JP06007999 A JP 06007999A JP 6007999 A JP6007999 A JP 6007999A JP 4377472 B2 JP4377472 B2 JP 4377472B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- state
- persons
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
この発明は、画像処理装置に関するもので、特に人間の顔画像を扱う顔画像処理装置に関するものである。
【0002】
【従来の技術】
最近、電子スチルカメラ等のデジタル画像装置の普及はめざましく、様々な分野で広く利用がなされている。
【0003】
例えば電子スチルカメラやTV電話、監視カメラで人物を撮影する場合、顔の向きや目や口などの状態が希望の状態の時に一人または複数の人物の顔を撮影しようとする時は、被撮影者に希望の状態に顔の状態をあわせてもらうといった方法をとるか、監視カメラなどではすべての時間において連続的にビデオテープなどを使って撮影を行い、後から最適な画像を目で見ながら選ぶといった方法をとっている。
【0004】
【発明が解決しようとする課題】
しかし、一人または複数名を対象に撮影を行っている時に、撮影者の希望する画像を獲得するために被撮影者に対してあらかじめ顔の状態の希望を伝えてその状態にしてもらう必要があったり、複数人の撮影する場合には撮影してみて一人でも適さない状態の人がいた場合は、再度撮りなおしする必要がある。そのため、監視のように撮影されていることを相手に知られたくない場合や複数の人物がいて常に全員がばらばらな顔の状態をしているような撮影対象の場合、非常に撮影が困難であるという問題がある。
【0005】
本発明は上記問題を鑑み、顔の状態を自動的に判断し所望の画像を獲得することができる顔画像処理装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
この発明の顔画像処理装置は、顔画像を含む複数の人物の画像を連続的に入力する画像入力手段と、この画像入力手段により入力された複数の画像から1枚ごとに、あらかじめ作成された複数の目の状態にあわせた辞書の画像と得られた瞳の画像との類似度が最も高くなる状態を現在の目の状態とし、これを用いて前記複数の人物のそれぞれの顔の表情が撮影者の希望する表情であるかを評価し、この評価結果に基づき前記複数の画像の中で前記複数の人物の各人ごとの顔の表情の評価値に係数をかけて積算した画像1枚ごとの評価値が最も高くなる画像を1枚選択して出力する画像選択手段とを具備している。
【0007】
本発明によれば、上記した構成により、カメラ等からの連続した顔画像から人物の顔画像を検出し、撮影者の意図する顔画像の状態、例えば被写体の目が開いている状態の顔画像を判定しこれを選択するものである。これにより、従来のように撮影者が被写体の目が閉じているかどうか等を気にするようなことなく、一定時間カメラ等を被写体に向けているだけで、目をつぶっていない等の被写体の顔画像を自動的に選択してくれる顔画像処理装置を提供することができる。
【0009】
また、本発明によれば、上記した構成により、複数の人物の顔画像のそれぞれを評価し、これが総合的に最も良くなっている画像を蓄積画像から自動的に選択することにより、例えばいわゆる集合写真についても最適なものを自動的に選択する顔画像処理装置を提供することができる。
【0023】
【発明の実施の形態】
以下、この発明の一実施の形態について図面を参照して詳細に説明する。
【0024】
初めに本方式を用いてテレビカメラや電子スチルカメラから入力された連続画像中に含まれる一人または複数の人物顔の状態を認識し、撮影者の希望とする状態の顔を撮影する装置についての実施形態を示す。
【0025】
(1)実施形態の全体処理概要の処理説明
図1は、本発明の実施形態であるシステムの一例を示す構成図である。図1において、本実施形態は、テレビカメラ及びモニタ1、PC(またはワークステーション)からなる装置2,3、または電子スチルカメラのような携帯型の筐体内部にPCと同様の計算及び記憶装置等を含み、液晶やプラズマ等の小型ディスプレイを装備した装置4からなる。
【0026】
図2は、本発明の実施形態であるシステムの処理に沿ったブロックダイアグラムである。図2において、本発明に係るシステムは、画像入力部11と、画像蓄積部12と、顔領域抽出部13と、瞳検出部14と、鼻孔検出部15と、口検出部16と、瞳状態判定部17と、口状態判定部18と、顔状態判定部19と、属性別計数部20と、最適画像撮影部21と、最適画像合成部22と、顔サイズ補整部23と、出力部24とを有している。
【0027】
このようなシステムにおいて、本発明の画像処理は以下のような手順で行われる。つまり、画像入力部11からデジタイズされた画像を入力し、画像蓄積部12にその内容を連続して格納する。入力画像に対して顔領域抽出部13を適用することにより入力画像内に存在する一人または複数の人物の顔を抽出し、抽出された各顔領域において瞳検出部14、鼻孔検出部15、口検出部16を用いて顔内の目鼻口の部位を検出する。顔の各部位が検出されたら瞳状態判定部17及び口状態判定部18によって瞳の開閉状態や視線の状態、口の開閉状態等を求め、顔状態判定部19ではその結果を利用して被撮影者それぞれの顔の状態がどのような状態であるかを判定する。
【0028】
属性別計数部20では撮影領域内にいる人物それぞれの性別、大人/子供等の属性をもとめ、属性毎及び撮影領域内全部の人数を計測する。最適画像撮影部21では、得られた画像が撮影者の希望とする状態であるかどうかを一枚一枚毎に判定し、複数枚得られた画像の中で最も最適状態に近いものを出力し、最適画像合成部22では複数人物を撮影している場合には被撮影者それぞれにおいて最適の画像を保存し、最終出力画像で合成する。
【0029】
得られた結果や候補画像は入力画像サイズまたは顔サイズ補正部23によってサイズを補正しながら出力部24によって表示し、撮影者に結果を知らせる。
【0030】
次に、それぞれの処理部11〜23に沿って詳細にその動作を図面を用いて説明する。
【0031】
(2)画像入力部11の処理説明
一名または複数名の人物が写るように設置された、動画像入力用のテレビカメラ及び静止画入力用の電子スチルカメラ等を利用して画像をカラーまたはモノクロでデジタイズして入力する。入力画像の階調やサイズはとくに限定せずカメラの入力階調、入力解像度に従うこととする。
【0032】
(3)画像蓄積部12の処理説明
画像入力部11から取り込まれた画像はそのままメモリに保存され、また直前(Nフレーム前まで)の複数の画像を別の領域に保存する。
【0033】
(4)顔領域抽出部13の処理説明
人物顔領域のうち、上下端は眉毛から唇付近、左右端は両目の両端の外側に位置する領域を顔検索用領域として定め、予め複数名の画像を利用して平均画像もしくはKL展開をして上位成分固有ベクトルを用いる等して顔探索用の顔辞書を作成する。また前もって顔探索用の辞書で様々な画像を評価し、顔辞書と類似度が高い領域で顔ではないものが得られたら非顔辞書として画像を収集する。入力された画像に対して顔の大きさの影響をなくすために複数段階での拡大・縮小画像を作成し、それぞれの画像に対して複合類似度法もしくはテンプレートマッチング法を利用して顔領域の探索を行う。走査する手順を図3の説明図に示す。顔領域は顔辞書と類似度が高く非顔辞書と類似度が低くなるのが理想で、
評価値=顔辞書との類似度−非顔辞書との類似度
で与えられる評価値の最も高い場所を求め第一の顔検出領域とする。最高値を出した領域と重ならず所定の距離以上離れた位置で所定の評価しきい値以上の評価値を与える領域に対しても顔の検出領域とすることで、複数人数が入力画像に入っている場合でも全員を検出し、被撮影領域中の人数を計測することも可能である。
【0034】
(5)瞳検出部14の処理説明
顔領域抽出部13によって抽出された顔領域それぞれに対して、複数の半径で円形分離度フィルター(「動画像を用いた顔認識システム」、山口修他、信学技報 PRMU97−50,PP17−23を参照)をかけることで円形で周りより暗くなっている場所を瞳候補点として列挙する。瞳領域は顔の上方領域にあると想定されるので探索領域は顔全体に対して処理する必要はない。また二値化されて暗いと判定された場所のみで図4に示された外側領域と内側領域それぞれにおける輝度分散の比率を求める円形分離度の計算をすることにより高速化をすることが可能である。得られた候補点それぞれに対して次に用途に応じた幾何学配置条件を用いて候補点の組み合わせ(左右で一組)を絞込む。例えば、カメラからの距離によって両瞳間の距離の大小しきい値を決める。又は、正面静止状態の顔しかない場合は両瞳を結ぶ線が水平に近いように角度のしきい値を決める等である。その両目それぞれに対して以下の評価値計算を行い左右の評価値を足したものをその組み合わせの評価値とする。
【0035】
評価値=瞳辞書との類似度−非瞳辞書との類似度
尚、各辞書は前もって複数名の被験者のデータから顔領域抽出部と同様に辞書を予め作成しておくものとし、この場合の瞳辞書は眼がねをかけている、目つぶり、横目、半目などといった各種の瞳の状態を全て別々の複数辞書として持ち、目つぶりや横目の状態など様々な状態でも安定して瞳領域を検出することができる。また非瞳辞書も瞳と間違いやすい鼻孔や目尻目頭、眉などのクラスを分け複数の辞書を持たせ、非瞳辞書の類似度計算の時にはその中で最も高い類似度を与える物を選択して計算することで色々な抽出失敗に対処する。この様子を図6に示す。
【0036】
また鼻孔検出部15と組み合わせて幾何学的な拘束条件を図5のように定めることで、瞳検出の精度を上げることが可能である。
【0037】
(6)鼻孔検出部15の処理説明
顔検出部13及び瞳検出部14の位置関係を用いて鼻領域を限定する。顔領域中央部であり両瞳よりも下において瞳検出部14と同様に二値化、円形分離度フィルター処理をすることで暗くて丸い部分の領域を鼻孔候補点として列挙し、それぞれに対して顔検出部と同様、鼻孔辞書、非鼻孔辞書と類似度計算をし以下の評価値を各点で求める。
【0038】
評価値=鼻孔辞書との類似度−非鼻孔辞書との類似度
また候補点全ての2点の組みあわせの中で、予め与えてある瞳との幾何学的な配置条件に一致する中で上記評価値が最高となる一組の点(左右の2点)を求め、それを両鼻孔位置として検出する。また瞳検出部14にも示したが幾何学配置条件の中で瞳と鼻孔の4点を行うことで精度を上げることも可能である。
【0039】
(7)口検出部16の処理説明
顔領域抽出部13、瞳検出部14及び鼻孔検出部15によって顔及び目鼻の配置が求められたため、両瞳の中心、両鼻孔の中心を求め平均的な幾何学配置を利用して口があるだろうと思われる計算を行う。図5は、本発明の瞳検出部及び鼻孔検出部における瞳と鼻孔と口の位置関係を説明する説明図であり、図5を参照されたい。
【0040】
又、口検出部16の処理の説明図が図7に示され、これは本発明における口検出部の検出処理を説明する説明図である。図7において、その領域において最も暗い画素しか出ないような所定しきい値以下の輝度を持つ画素を黒画素にし、それ以外の画素を白画素とする二値化処理を行い、この画像を基準画像とする。このしきい値でも抽出される領域は暗い部分もしくは黒い部分のため、ひげの領域もしくは開いている口の領域とする。そこから徐々にしきい値を上げて二値化をし、基準画像との差分画像に対してラベリング処理を行い、横に長い領域(ラベル)がでてきて大きくなってきたらその領域が縦横それぞれ所定サイズ以上になった段階で口の領域とする。一方で初期しきい値の二値化結果とサイズがほとんど変わらないのはひげなどのような真っ黒な領域は差分処理によって排除でき、口領域とは区別することができる。
【0041】
(8)瞳状態判定部17の処理説明
瞳検出部14で求められた左右の各瞳領域にたいし、「目つぶり」「半目」「横目」「上目」等といった目の様々な状態にあわせて辞書を作成しておき、得られた瞳画像との類似度が最も高くなる状態を現在の瞳の状態と判定する。
【0042】
また後述する顔状態判定部19にも書かれているようにどの状態を希望するのか撮影者側が予め選択されている場合には以下の方法で最適画像を選択するものとする。
【0043】
図9は、瞳状態判定部の判定処理を示すフローチャートである。この処理によって瞬きや視線の動きなど瞳の状態が逐次変わる状態であったときや目が細くて瞳の開閉の判定がしにくい被撮影者であっても最適な画像を選択することができる。
【0044】
評価値は希望状態を示す辞書との類似度とそれ以外の辞書の中で最も高い類似度との差とする。この値が高いということは理想の状態に近く他の状態と明確に区別できる状態だと判断できる。この評価値を一枚の画像で判定すると目の細い人が開いた状態なのか大きな目の人が半目状態であるのかの区別がつけられないため、瞬きが開始して終わるまでの時間より時間だけ撮影を行うのに十分な枚数Nだけ連続に画像を蓄積し、評価値の分散及び平均値を計算する。
【0045】
図9において、評価値の分散が小さい場合には(S31)、目の状態の変化はほとんどないとして、平均値よりも高い時間が長い場合には(S32)、平均よりも高い評価値の中で最も平均に近い評価値を与える状態を最適画像とし(S35)、平均値よりも低い時間が長い場合には平均よりも低い評価値の中で最も平均に近い評価値を与える状態を最適画像として選択する(S33)。逆に分散が大きい場合には目の状態が大きく変動していると考えられ、最も高い評価値を与えるものを最適画像とする(S34)。
【0046】
図10は本発明における瞳状態判定部の判定処理を説明する説明図であり、これを例にとって説明すると、(a)と(b)は動きも少なく分散も小さく、平均よりも高い時間が長いために平均より高い中で最も平均値に近く評価値を与える画像を選択する。(c)では変動が大きく分散が大きくなるため、最高値を与える画像を選択する。(d)では分散が小さく平均よりも低い時間が長いために、平均よりも低い評価値を与える中で最も平均値に近い画像を選択する。
【0047】
(9)口状態判定部18の処理説明
次に、口状態判定部16の処理のフローチャートを図11に示す。
【0048】
図11において、口の上下幅左右幅、及び上下左右幅、およびそれぞれに定めたしきい値との比較によって口が開いているか閉じているかの判定を行う。口の上下幅が所定しきい値以上となれば(S41)口が開いていると判定し(S44)、所定しきい値以下の場合で横幅が所定しきい値以上であれば(S42)口が閉じていると判定する(S45)。さらにそのどちらにも属さない場合には、口の上下幅左右幅、及び上下左右幅を一定サイズになるように正規化した画像において複数の状態の辞書(普通の口、とんがっている口、くいしばり、あかんべぇ等それぞれにあわせて辞書を作成)と比較することで(S43)口の状態を判定する(S46,S47)。
【0049】
(10)顔状態判定部19の処理説明
瞳状態判定部17及び口状態判定部18の出力を利用し、撮影者の希望する顔状態であるかどうかを判定する。希望の状態とは、例えば証明写真等の場合の状態とは「瞳が正面を向いて開いた状態であり、口は閉じた状態である」になり、スナップ写真等では「瞳が開いた状態で口の状態はどちらでもよい」「瞳が開いた状態で口が笑った状態」等となる。
【0050】
実際の状態判定には図12に示すような瞳と口の状態それぞれを縦軸横軸にとったマトリクスを準備し、希望の状態であるかどうかをそれぞれのセルに入れていくといった形になる。
【0051】
(11)属性別計数部20の処理説明
顔領域抽出部13で抽出された顔領域それぞれにおいて、男女それぞれの平均顔からなる辞書、大人子供それぞれの平均顔からなる辞書、また国籍などそれぞれで平均顔画像辞書をもち、類似度計算をしてどちらに近いかで属性ごとに人数の計測を行い、得られた結果をもとに顔領域に対して属性のラベル付けを行う。また属性に関係なく非撮影領域内に存在する人物の数を全部積算することにより人数計測を行うことができる。
【0052】
(12)最適画像撮影部21の処理説明
所定時間内に蓄積された時系列連続画像の中において、顔状態判定部19で示したようなマトリクスを用い、撮影者の希望とする状態であるかどうかを、一枚一枚毎に、そして各人毎に、そして各部位毎に計数をかけて積算したものを評価値として求める。式は以下の通り。
【0053】
評価値= (希望辞書との類似度−非希望辞書中最高類似度)
ここで「顔」は撮影領域内に含まれる全顔を示し、「部位」は各顔領域内における目と口を示す。複数枚得た画像の中で上記評価値が最も高くなる画像を最適画像として選択する。
【0054】
(13)最適画像合成部22の処理説明
複数人物を対象として撮影をしており、撮影領域内の全員が目を開いて笑っている(口を開いている)状態の写真を撮りたいなどといった希望の状態の撮影を行いたい場合、上記顔状態判定部19までの処理を所定時間繰り返すことで蓄積された画像の中で、被撮影者それぞれにおいて最適の画像を顔領域及び所定範囲の顔の周辺画像を保存し、最終出力画像で最適画像をあてはめて合成することで、被撮影者が撮影タイミングやまわりの調整が必要なく最適な画像を作成する。合成する場合にはできるだけ被撮影者が動かないことが前提であるが、動いてしまった場合には顔領域より大きめにとった保存領域の周辺に沿ってアンチエイリアス処理をかけることにより不自然な合成画像でなくなるように処理を行う。
【0055】
(14)顔サイズ補正部23の処理説明
出力部24に出力する際に入力された画像をそのまま出力することもできるが、抽出された一人または複数人の顔領域の大きさに応じて出力画像の大きさを拡大・縮小する。顔のサイズは顔領域抽出部13で用いた複数解像度の顔辞書のサイズを用いれば求めることができるのだがサイズの解像度分だけ解像度が必要となるため、ここでは別手法を用いる。
【0056】
顔領域として抽出された領域内の輝度分布のみを利用して、白画素黒画素比率が一定となるようなP−Tile法、もしくは一定しきい値、判別分析法等の手法によって二値化を行い、顔領域を二値化した際のしきい値で顔の周辺領域を含む領域を二値化する。二値化された画像をラベリングすることで顔中心部を含む連結した領域が抽出され、その領域の左右端を顔の左右端としてその横幅の値をもって顔サイズとする。ただし耳が出ている場合と髪の毛で耳が隠れる場合があるため、瞳検出部14によって求められた瞳位置、及び顔の左右端の位置を用いて分類を行う。
【0057】
図13に処理の説明図を示すが、両瞳の中心Dを基準にし向かって左側を例にとって説明する。顔の左端は耳が出ている場合はAの位置となり、ADの長さ/CDの長さが所定しきい値以上となるようにしきい値を予め設定しておく。仮に耳が髪の毛で隠れている場合には左端位置はBの位置となるため(BDの長さ/CDの長さ)の値は耳が出ている場合より小さくなるため、ここで耳が出ているかどうかの判定を行う。同様に反対側の耳についても耳が出ているかどうかを判定する。
【0058】
耳が出ていない場合にはそのまま左右端として抽出された位置を顔領域だとし、耳が出ている場合には複数人物のデータで予め計算された(A−D)/(B−D)の平均値を用いて耳位置に影響うけずにBの位置を計算して求める。以上によって求められた顔サイズをもとに撮影者側が希望のサイズを入力していた場合には拡大縮小処理をすることで希望サイズでの画像出力を行う。
【0059】
(15)出力部24の処理説明
最後に出力部24の処理を以下に説明する。
【0060】
テレビカメラで据え置き型の装置の場合にはモニタ、携帯タイプのものでは内蔵されたモニタに最適画像及び最適候補画像を並べて出力を行う。図14に示されたように最適画像と判定された画像が大きく出力され、その横には時間列にそって評価値の高いものを並べる。もし希望の画像が候補列の方にある場合には上下左右のボタンで希望画像を選択できるようにして最終出力画像を変更できるほか、図14の点線の四角で囲われた矩形領域Hのように各画像それぞれ顔領域に印をつけ、複数の画像の中から最適の顔を手動で合成することも可能である。
【0061】
【発明の効果】
以上詳述したようにこの発明によれば、電子スチルカメラやTV電話、監視カメラで撮影などで一人または複数の人物の顔を撮影する場合、相手に希望の撮影状態や撮影していることを知らせることなく、さらに目の細さや動きの影響もうけず、顔が正面を向いているかどうか、瞳の開閉状態、口の開閉状態等を判定することができ、撮影で必要とする状態に適した顔の状態を確認しながら自動的に最適なものを選択して撮影を行うことができる。
【0062】
また集合写真等など複数人物を撮影する場合に被撮影者それぞれの最適状態の画像を自動的に合成することで、被撮影者全員の最適な画像を容易に得ることが可能となる。
【図面の簡単な説明】
【図1】本発明の実施形態であるシステムの一例を示す構成図。
【図2】本発明の実施形態であるシステムの処理に沿ったブロックダイアグラム。
【図3】本発明の顔領域抽出部の処理を説明する説明図。
【図4】本発明の瞳検出部の円形分離度フィルターの処理を説明する説明図。
【図5】本発明の瞳検出部及び鼻孔検出部における瞳と鼻孔と口の位置関係を説明する説明図。
【図6】本発明における瞳検出部の検出処理を説明する説明図。
【図7】本発明における口検出部の検出処理を説明する説明図。
【図8】本発明における瞳状態判定部の判定処理を説明する説明図。
【図9】本発明における瞳状態判定部の判定処理を示すフローチャート。
【図10】本発明における瞳状態判定部の判定処理を説明する説明図。
【図11】本発明における口状態判定部の判定処理を説明するフローチャート。
【図12】本発明における顔状態判定部の判定処理を説明する説明図。
【図13】本発明における顔サイズ補正部のサイズ補正処理を説明する説明図。
【図14】本発明における撮影画像選択画面およびインターフェースを示す図。
【符号の説明】
1…カメラ
2 … ディスプレイ
3 … パーソナルコンピュータ又はワークステーション
4 … PC同等の計算・記憶装置および内部表示装置を含むデジタルカメラ
11 … 画像入力部
12 … 画像蓄積部
13 … 顔領域抽出部
14 … 瞳検出部
15 … 鼻孔検出部
16 … 口検出部
17 … 瞳状態検出部
18 … 口状態検出部
19 … 顔状態判定部
20 … 属性別計数部
21 … 最適画像撮影部
22 … 最適画像合成部
23 … 顔サイズ補整部
24 … 出力部
Claims (6)
- 顔画像を含む複数の人物の画像を連続的に入力する画像入力手段と、
この画像入力手段により入力された複数の画像から1枚ごとに、あらかじめ作成された複数の目の状態にあわせた辞書の画像と得られた瞳の画像との類似度が最も高くなる状態を現在の目の状態とし、これを用いて前記複数の人物のそれぞれの顔の表情が撮影者の希望する表情であるかを評価し、この評価結果に基づき前記複数の画像の中で前記複数の人物の各人ごとの顔の表情の評価値に係数をかけて積算した画像1枚ごとの評価値が最も高くなる画像を1枚選択して出力する画像選択手段と、
を具備したことを特徴とする顔画像処理装置。 - 前記人物の顔の表情は、当該人物の目の状態と口の状態との組合わせにより評価することを特徴とする請求項1記載の顔画像処理装置。
- 前記人物の顔の表情は、当該人物の目の状態と口の状態との組合わせにより笑顔および目つぶりを評価することを特徴とする請求項1記載の顔画像処理装置。
- 前記目の状態とは、目つぶり、半目、横目、上目等である請求項2記載の顔画像処理装置。
- 前記口の状態とは、大きく開いている、閉じている、とんがり口、食いしばり等である請求項2記載の顔画像処理装置。
- 顔画像を含む複数の人物の複数枚の画像を入力する画像入力手段と、
この画像入力手段により入力された各画像ごとに、前記複数の人物の顔領域を抽出する顔領域抽出手段と、
この顔領域抽出手段により抽出された各画像ごとの複数の人物の顔領域の表情の評価値を、評価する部位のその部位に該当する辞書との類似度からその部位に該当しない辞書との類似度の差によって求める表情評価手段と、
この表情評価手段で評価された複数の人物の評価値を用いて前記画像入力手段より入力された画像内に表示された前記複数の人物の各人ごとに顔の表情が撮影者が希望した表情となる画像であるかを各画像ごとに判定する表情判定手段と、
この表情判定手段の判定結果を利用して前記複数枚の画像の中で前記複数の人物の顔の表情が撮影者が希望した表情と判定された画像を選択して出力する画像選択手段と、
を具備したことを特徴とする顔画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06007999A JP4377472B2 (ja) | 1999-03-08 | 1999-03-08 | 顔画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06007999A JP4377472B2 (ja) | 1999-03-08 | 1999-03-08 | 顔画像処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009106612A Division JP4762329B2 (ja) | 2009-04-24 | 2009-04-24 | 顔画像処理装置および顔画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000259833A JP2000259833A (ja) | 2000-09-22 |
JP4377472B2 true JP4377472B2 (ja) | 2009-12-02 |
Family
ID=13131738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP06007999A Expired - Lifetime JP4377472B2 (ja) | 1999-03-08 | 1999-03-08 | 顔画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4377472B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9842409B2 (en) | 2012-07-19 | 2017-12-12 | Panasonic Intellectual Property Management Co., Ltd. | Image transmission device, image transmission method, image transmission program, image recognition and authentication system, and image reception device |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4795988B2 (ja) * | 2000-04-13 | 2011-10-19 | 富士フイルム株式会社 | 画像処理方法 |
JP4454841B2 (ja) * | 2000-12-27 | 2010-04-21 | 株式会社東芝 | 顔画像撮影装置および顔画像撮影方法 |
WO2002056251A1 (fr) * | 2000-12-27 | 2002-07-18 | Mitsubishi Denki Kabushiki Kaisha | Dispositif de traitement d'images et ascenseur sur lequel il est monte |
JP4476546B2 (ja) * | 2000-12-27 | 2010-06-09 | 三菱電機株式会社 | 画像処理装置及びそれを搭載したエレベータ |
DE60236461D1 (de) * | 2002-07-26 | 2010-07-01 | Mitsubishi Electric Corp | Bildverarbeitungsvorrichtung |
JP3788969B2 (ja) * | 2002-10-25 | 2006-06-21 | 三菱電機株式会社 | リアルタイム表情追跡装置 |
JP4367010B2 (ja) * | 2003-05-30 | 2009-11-18 | セイコーエプソン株式会社 | システム、プログラムおよび方法 |
JP2006115406A (ja) * | 2004-10-18 | 2006-04-27 | Omron Corp | 撮像装置 |
JP2006163496A (ja) * | 2004-12-02 | 2006-06-22 | Fuji Photo Film Co Ltd | 画像記録装置、画像記録方法及び画像記録プログラム |
JP2006330800A (ja) * | 2005-05-23 | 2006-12-07 | Nippon Telegr & Teleph Corp <Ntt> | 画像合成システム、画像合成方法、この方法のプログラム |
JP2006331271A (ja) * | 2005-05-30 | 2006-12-07 | Nippon Hoso Kyokai <Nhk> | 代表画像抽出装置及び代表画像抽出プログラム |
JP4748656B2 (ja) * | 2005-06-14 | 2011-08-17 | キヤノン株式会社 | 画像管理装置及びその制御方法、並びにプログラム及び記憶媒体 |
DE602006009191D1 (de) | 2005-07-26 | 2009-10-29 | Canon Kk | Bildaufnahmegerät und -verfahren |
JP2007067560A (ja) * | 2005-08-29 | 2007-03-15 | Canon Inc | 撮像装置及びその制御方法、コンピュータプログラム及び記録媒体 |
JP4844053B2 (ja) | 2005-08-31 | 2011-12-21 | セイコーエプソン株式会社 | 画像選択装置および画像選択方法 |
US8542928B2 (en) * | 2005-09-26 | 2013-09-24 | Canon Kabushiki Kaisha | Information processing apparatus and control method therefor |
JP4533849B2 (ja) * | 2006-01-16 | 2010-09-01 | 株式会社東芝 | 画像処理装置及び画像処理プログラム |
JP2007272435A (ja) * | 2006-03-30 | 2007-10-18 | Univ Of Electro-Communications | 顔特徴抽出装置及び顔特徴抽出方法 |
JP2007288478A (ja) * | 2006-04-17 | 2007-11-01 | Matsushita Electric Ind Co Ltd | 撮像装置及び画像記録装置 |
JP2009258770A (ja) * | 2006-08-08 | 2009-11-05 | Nikon Corp | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 |
JP4825093B2 (ja) | 2006-09-20 | 2011-11-30 | 富士通株式会社 | 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、および、手ぶれ補正処理プログラム |
JP2008197889A (ja) * | 2007-02-13 | 2008-08-28 | Nippon Telegr & Teleph Corp <Ntt> | 静止画生成方法、静止画生成装置および静止画生成プログラム |
JP5019939B2 (ja) | 2007-04-19 | 2012-09-05 | パナソニック株式会社 | 撮像装置及び撮像方法 |
JP4720810B2 (ja) | 2007-09-28 | 2011-07-13 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
JP4720880B2 (ja) * | 2008-09-04 | 2011-07-13 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP5274181B2 (ja) * | 2008-09-25 | 2013-08-28 | キヤノン株式会社 | 動画像符号化装置および動画像符号化方法 |
JP5423305B2 (ja) | 2008-10-16 | 2014-02-19 | 株式会社ニコン | 画像評価装置及びカメラ |
JP4710970B2 (ja) * | 2008-12-19 | 2011-06-29 | カシオ計算機株式会社 | 撮影画像記録装置および撮影画像記録制御方法 |
JP2010224677A (ja) * | 2009-03-19 | 2010-10-07 | Seiko Epson Corp | 画像評価方法、画像評価プログラムおよび印刷装置 |
JP5564384B2 (ja) * | 2010-09-28 | 2014-07-30 | 任天堂株式会社 | 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法 |
JP2011103128A (ja) * | 2010-11-29 | 2011-05-26 | Seiko Epson Corp | 画像選択装置および画像選択方法 |
JP4840534B2 (ja) * | 2011-01-17 | 2011-12-21 | カシオ計算機株式会社 | 撮影画像記録装置および撮影画像記録制御方法 |
WO2012148000A1 (ja) * | 2011-04-28 | 2012-11-01 | 九州日本電気ソフトウェア株式会社 | 画像処理システム、人物同定方法、画像処理装置およびその制御方法と制御プログラム |
CN105872352A (zh) * | 2015-12-08 | 2016-08-17 | 乐视移动智能信息技术(北京)有限公司 | 一种拍摄照片的方法及装置 |
CN113052064B (zh) * | 2021-03-23 | 2024-04-02 | 北京思图场景数据科技服务有限公司 | 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法 |
-
1999
- 1999-03-08 JP JP06007999A patent/JP4377472B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9842409B2 (en) | 2012-07-19 | 2017-12-12 | Panasonic Intellectual Property Management Co., Ltd. | Image transmission device, image transmission method, image transmission program, image recognition and authentication system, and image reception device |
Also Published As
Publication number | Publication date |
---|---|
JP2000259833A (ja) | 2000-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4377472B2 (ja) | 顔画像処理装置 | |
JP3761059B2 (ja) | ヒトの顔を検出する方法および装置、ならびに観察者トラッキングディスプレイ | |
US7046924B2 (en) | Method and computer program product for determining an area of importance in an image using eye monitoring information | |
CN103353933B (zh) | 图像识别设备及其控制方法 | |
US20130076943A1 (en) | Apparatus and method for image recognition of facial areas in photographic images from a digital camera | |
EP1422922A2 (en) | Camera system with eye monitoring | |
US20060110014A1 (en) | Expression invariant face recognition | |
US11232586B2 (en) | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium | |
US7460705B2 (en) | Head-top detecting method, head-top detecting system and a head-top detecting program for a human face | |
US20100188520A1 (en) | Imaging device and storage medium storing program | |
JP2001067459A (ja) | 顔画像処理方法および顔画像処理装置 | |
US8208035B2 (en) | Image sensing apparatus, image capturing method, and program related to face detection | |
JP2003150942A (ja) | 目位置追跡方法 | |
JP4206053B2 (ja) | ユーザインタフェース装置およびユーザインタフェースプログラム | |
JP3459950B2 (ja) | 顔検出及び顔追跡方法並びにその装置 | |
JP3970573B2 (ja) | 顔画像認識装置および方法 | |
JP5254897B2 (ja) | 手画像認識装置 | |
JP5242827B2 (ja) | 顔画像処理装置、顔画像処理方法、電子スチルカメラ、デジタル画像処理装置およびデジタル画像処理方法 | |
JPWO2022074865A5 (ja) | 生体検知装置、制御方法、及びプログラム | |
JP6098133B2 (ja) | 顔構成部抽出装置、顔構成部抽出方法及びプログラム | |
JP4762329B2 (ja) | 顔画像処理装置および顔画像処理方法 | |
JP2013118574A (ja) | 撮像装置 | |
JP5017476B2 (ja) | 顔画像処理装置、顔画像処理方法および電子スチルカメラ | |
JP2004104426A (ja) | 撮像装置 | |
WO2024090218A1 (ja) | 診断システム、診断装置、プログラム、診断方法、肌診断方法およびストレス診断方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090818 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090911 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130918 Year of fee payment: 4 |
|
EXPY | Cancellation because of completion of term |