JP4845755B2 - 画像処理装置、画像処理方法、プログラム及び記憶媒体 - Google Patents

画像処理装置、画像処理方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
JP4845755B2
JP4845755B2 JP2007020137A JP2007020137A JP4845755B2 JP 4845755 B2 JP4845755 B2 JP 4845755B2 JP 2007020137 A JP2007020137 A JP 2007020137A JP 2007020137 A JP2007020137 A JP 2007020137A JP 4845755 B2 JP4845755 B2 JP 4845755B2
Authority
JP
Japan
Prior art keywords
feature
image data
unit
extracted
facial expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007020137A
Other languages
English (en)
Other versions
JP2008186303A (ja
Inventor
雄司 金田
優和 真継
克彦 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007020137A priority Critical patent/JP4845755B2/ja
Priority to EP08001353A priority patent/EP1953675B1/en
Priority to US12/021,659 priority patent/US8165399B2/en
Priority to CN2008100047642A priority patent/CN101236600B/zh
Publication of JP2008186303A publication Critical patent/JP2008186303A/ja
Priority to US13/326,710 priority patent/US8494233B2/en
Application granted granted Critical
Publication of JP4845755B2 publication Critical patent/JP4845755B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像データにおける被写体の認識処理を行う画像処理装置及び画像処理方法、当該画像処理方法をコンピュータに実行させるためのプログラム、並びに、当該プログラムを記録するコンピュータ読み取り可能な記憶媒体に関するものである。
画像中から人物の顔の有無を検出し、更に、人物の顔面の特徴を検出することによって、人物がどのような表情であるかなどを認識する技術がある。
例えば、画像中から人物の顔の表情が出やすい所定領域に対応する部分を抽出してウェーブレット変換し、各帯域毎の平均電力を算出して、無表情の顔から得られる平均電力との差分により表情を検出する方法がある（例えば、特許文献１参照）。また、表情を認識するための所定特徴の変化量を、予め用意しておいた無表情の場合と認識対象との特徴量の差により検出した後、当該所定特徴の変化量から各表情に対する得点を算出することによって表情を認識する方法もある（例えば、特許文献２参照）。
しかしながら、上述した技術では、影や装着物などの何らかの影響により、認識処理に使用する特徴が正確に検出できない場合がある。
そこで、これらの影響が発生した場合でも認識処理を行い得る技術として、従来、以下の技術が提案されている。
下記の特許文献３の技術では、まず、入力顔画像の全体をブロックに分割し、この各ブロックから得られた特徴ベクトルと、予め用意しておいた登録画像群から得られた同ブロックの平均特徴ベクトルとの距離を計算し、ブロック毎に重み付けを行う。その後、この重み付けされた特徴ベクトルに基づいて照合得点算出を行い、照合処理を行う方法を開示している。更に、下記の特許文献４の技術では、顔部位検出技術において、眼鏡の光沢反射面を持つ物の反射像を取り除いた画像に対して処理を行うことで、顔部位を精度良く検出する方法を開示している。
特許第２８４０８１６号公報 特開２００５−５６３８８号公報 特開２００３−３２３６２２号公報 特開２００２−３５２２２９号公報 特開２０００−３００６５号公報 Edgar Osuna, Robert Freund, Federico Girosi "Training Support Vector Machines: an Application to Face Detection" Proceedings of CVPR'97, pp130-136, 1997 Yann LeCun and Yoshua Bengio"Convolutinal Networks for Images,Speech,and Time Series" The Handbook of Brain Theory and Neural Networks, pp255-258, 1995 Watanabe, S. and Pakvasa, N. (1973). Subspace method of pattern recognition, Proceeding of １st International Joint Conference of Pattern Recognition, pp25-32
人物の表情は、顔面を構成する眉、目、口、頬などのパーツ動作の組み合わせで表現できる。そして、表情を認識する際には、顔領域を単にいくつかに分割し、全ての領域で分析を行うよりも、例えば、表情動作の出やすい領域だけを設定し、これらの設定された領域において分析を行うことにより、処理コストの削減にも繋がる。
また、例えば、笑顔は比較的に口周辺が大きく変化しやすいが目周辺はそれほど変化しないなどのように、各表情に応じて各領域の重要度は異なる。よって、認識する表情に応じて、目や口などの表情動作が出やすい顔面を構成する各パーツ、又は顔領域をいくつかに分割した場合の各領域の重み付けが望ましい。
また、個人を照合する際も、顔を複数の領域に分割して、個人照合に重要な領域だけを設定し、設定された領域だけ分析を行えば良い。この際、これら設定された領域から得られる特徴の重要度も異なる。例えば、頬領域などの何もパーツがない領域から抽出された特徴は、目や口付近の領域から抽出された特徴よりも、個人を照合する特徴として重要度が低い場合がある。
上述したように、表情を認識するための領域の設定は、例えば、何らかの方法で目や口の位置を抽出し、これらの位置を用いて領域を設定する方法がある。
しかしながら、例えば、サングラス、ヒゲ、影など何らかのものによる隠蔽などにより、目や口の位置が検出されない場合、表情動作の出やすい領域も設定できない。この場合、所定の特徴を全て検出することができず、表情を認識することができないという問題がある。例え、何らかの画像補正を行ったとしても、サングラス、ヒゲ、影などの影響を完全に無くすことはできない。
一方、個人照合する場合も同様に、サングラス、ヒゲ、影などの影響により個人照合するために必要な所定領域が設定されず、所定特徴が抽出されないため、個人を照合することはできないという問題がある。
本発明は上述の問題点にかんがみてなされたものであり、人物の表情認識や個人照合などの認識処理を行う際に、未抽出の特徴があった場合においても、当該認識処理を精度良く行えるようにすることを目的とする。
本発明の画像処理装置は、入力された画像データから被写体における予め定められた複数種の特徴量を抽出する特徴量抽出手段と、前記複数種の特徴量のうち、前記特徴量抽出手段で抽出できなかった未抽出の特徴量がある場合、前記特徴量抽出手段で抽出された特徴量に対して当該未抽出の特徴量の種類に対応する重み付けを設定する重み付け設定手段と、前記重み付け設定手段で重み付けがなされた特徴量に基づいて前記被写体の認識処理を行う認識処理手段とを有する。
本発明の画像処理方法は、入力された画像データから被写体における予め定められた複数種の特徴量を抽出する特徴量抽出ステップと、前記複数種の特徴量のうち、前記特徴量抽出ステップで抽出できなかった未抽出の特徴量がある場合、前記特徴量抽出ステップで抽出された特徴量に対して当該未抽出の特徴量の種類に対応する重み付けを設定する重み付け設定ステップと、前記重み付け設定ステップで重み付けがなされた特徴量に基づいて前記被写体の認識処理を行う認識処理ステップとを有する。
本発明のプログラムは、入力された画像データから被写体における予め定められた複数種の特徴量を抽出する特徴量抽出ステップと、前記複数種の特徴量のうち、前記特徴量抽出ステップで抽出できなかった未抽出の特徴量がある場合、前記特徴量抽出ステップで抽出された特徴量に対して当該未抽出の特徴量の種類に対応する重み付けを設定する重み付け設定ステップと、前記重み付け設定ステップで重み付けがなされた特徴量に基づいて前記被写体の認識処理を行う認識処理ステップとをコンピュータに実行させるためのものである。
本発明のコンピュータ読み取り可能な記憶媒体は、前記プログラムを記録する。
本発明によれば、人物の表情認識や個人照合などの認識処理を行う際に、未抽出の特徴があった場合においても、当該認識処理を精度良く行うことが可能となる。
以下、本発明の諸実施の形態について説明を行う。なお、以下の説明においては、本発明に係る画像処理装置として、撮像装置を適用した例で説明を行う。
（第１の実施の形態）
以下、添付図面を参照して、本発明における第１の実施の形態を詳しく説明する。
図１は、第１の実施の形態に係る撮像装置（画像処理装置）１００の概略構成を示すブロック図である。なお、本実施の形態では、撮像装置１００の一例として、電子スチルカメラを用いる。
図１において、撮像レンズ群１０１は、被写体における光学像を撮像装置１００の内部に導くものである。光量調節部１０２は、絞り機構及びシャッタ機構を備え、撮像レンズ群１０１を介して入射した被写体における光学像の光量を調節する。撮像素子１０３は、撮像レンズ群１０１を通過した被写体における光学像（光束）を電気信号に変換するものであり、例えば、ＣＣＤやＣＭＯＳセンサ等から構成されている。
アナログ信号処理部１０４は、撮像素子１０３から出力された電気信号であるアナログ信号に、クランプ処理、ゲイン処理等を行う。アナログ／デジタル（以下、「Ａ／Ｄ」と称する）変換部１０５は、アナログ信号処理部１０４から出力されたアナログ信号をデジタル信号に変換して画像データとして出力する。
デジタル信号処理部１０７は、Ａ／Ｄ変換部１０５からの画像データ或いはメモリ制御部１０６からの画像データに対して、所定の画素補間処理や色変換処理などを行う。また、デジタル信号処理部１０７は、これらの画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて、ＴＴＬ（スルー・ザ・レンズ）方式のＡＷＢ（オートホワイトバランス）処理も行う。更に、デジタル信号処理部１０７は、後述するシステム制御部１１２による制御に基づいて、画像データから特定被写体を検出し、特定被写体の表情の認識処理を実行する。
後述のシステム制御部１１２は、デジタル信号処理部１０７による演算結果に基づいて、露出制御部１１３、焦点制御部１１４に対する制御を実行するＴＴＬ方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理を行う。
メモリ制御部１０６は、アナログ信号処理部１０４、Ａ／Ｄ変換部１０５、デジタル信号処理部１０７、メモリ１０８、デジタル／アナログ（以下、「Ｄ／Ａ」と称する）変換部１０９及びインタフェース（Ｉ／Ｆ）１１１を制御する。これにより、Ａ／Ｄ変換部１０５でＡ／Ｄ変換された画像データは、デジタル信号処理部１０７及びメモリ制御部１０６を介して、或いは直接メモリ制御部１０６を介して、メモリ１０８に書き込まれる（記憶される）。
メモリ１０８は、例えばＲＡＭで構成され、表示部１１０に表示する画像データ等の各種データを記憶しており、このメモリ１０８に記録されている画像データ等は、Ｄ／Ａ変換器１０９を介して、ＴＦＴ、ＬＣＤ等からなる表示部１１０に出力されて表示される。また、メモリ１０８は、撮像された静止画に係る画像データや動画に係る画像データを格納可能に構成されており、所定枚数の静止画に係る画像データや所定時間分の動画に係る画像データを格納するのに十分な記憶容量を備えている。
これにより、複数枚の静止画像を連続して撮像する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像データの書き込みをメモリ１０８に対して行うことが可能となる。また、メモリ１０８は、システム制御部１１２の作業領域としても使用することが可能に構成されている。なお、撮像された静止画や動画に係る画像データは、インターフェース（Ｉ／Ｆ）１１１を介して、ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等の記憶媒体に書き込まれる形態であっても良い。
表示部１１０は、撮像素子１０３で撮像された画像データを表示する。この際、画像データを表示部１１０に逐次表示すれば、表示部１１０を、いわゆる電子ファインダとして機能させることができる。また、表示部１１０は、システム制御部１１２による制御によりその表示を任意にオン／オフすることが可能であり、表示をオフにした場合は、オンにした場合と比較して、この撮像装置１００における電力消費を大幅に低減できる。また、表示部１１０は、システム制御部１１２でのプログラムの実行に応じて、文字、画像等を用いて動作状態やメッセージ等を表示する。
インタフェース（Ｉ／Ｆ）１１１は、例えば、撮像装置１００とメモリカードやハードディスク等の記憶媒体との接続を司るものである。このインターフェース（Ｉ／Ｆ）１１１を用いて、他のコンピュータやプリンタ等の周辺機器との間で画像データや、画像データに付属した管理情報を転送し合うことができる。このインターフェース（Ｉ／Ｆ）１１１をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続すればよい。この各種通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード等が挙げられる。
システム制御部１１２は、撮像装置１００における全体の動作を統括的に制御するものである。システム制御部１１２は、その内部メモリに、当該システム制御部１１２の動作用のプログラムや、特定被写体の顔や表情を認識するための定数、変数、プログラム等を記憶している。なお、ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等の記憶媒体を使用して、システム制御部１１２の内部メモリに記憶されているこれらの定数、変数、プログラム等を変更可能である。また、システム制御部１１２の動作用のプログラムや、特定被写体の顔や表情を認識するためのデータやプログラムに関しては、その内部メモリに格納するのではなく、上記記憶媒体等などから読み取ることにより実行させる形態であっても良い。
露出制御部１１３は、光量調節部１０２の絞り機構やシャッタ機構の駆動を制御する。焦点制御部１１４は、撮像レンズ群１０１のフォーカシングやズーミングを制御する。露出制御部１１３及び焦点制御部１１４は、例えば、ＴＴＬ方式を用いて制御されており、デジタル信号処理部１０７による画像データの演算結果に基づきシステム制御部１１２が、露出制御部１１３や焦点制御部１１４に対して制御を行うように構成されている。
次に、本実施の形態に係る撮像装置１００の制御動作について説明する。
図２は、第１の実施の形態に係る撮像装置（画像処理装置）１００の制御動作を示すフローチャートである。なお、この図２に示す処理を実行するプログラムは、システム制御部１１２内の内部メモリに記憶されており、システム制御部１１２による制御の下に実行される。そして、図２に示す処理は、当該撮像装置１００に対する電源投入などにより開始される。
まず、ステップＳ２００において、システム制御部１１２は、その内部メモリに記憶されている各種のフラグや制御変数等を初期化し、初期設定を行う。
続いて、ステップＳ２０１において、システム制御部１１２は、撮像装置１００におけるモード設定状態を検知し、当該検知した設定モードを判断する。この判断の結果、設定モードが自動撮影モードである場合には、ステップＳ２０３に進む。一方、ステップＳ２０１の判断の結果、設定モードが自動撮影モード以外のモードである場合には、続いて、ステップＳ２０２において、システム制御部１１２は、選択された設定モードに応じた処理を実行し、当該処理の終了後にステップＳ２０１に戻る。
ステップＳ２０３において、システム制御部１１２は、撮像装置１００における電源の残容量やその動作情況が撮像装置１００の動作において問題がないか否かを判断する。この判断の結果、電源に問題がある場合には、続いて、ステップＳ２０４において、システム制御部１１２は、表示部１１０を用いて画像や音声により所定の警告を行い、その後、ステップＳ２０１に戻る。
一方、ステップＳ２０３の判断の結果、電源に問題がない場合には、続いて、ステップＳ２０５において、システム制御部１１２は、記憶媒体が撮像装置１００の動作、特に、記憶媒体に対する画像データの記録再生動作に問題があるか否かを判断する。この判断の結果、記憶媒体に問題がある場合には、続いて、ステップＳ２０４において、システム制御部１１２は、表示部１１０を用いて画像や音声により所定の警告を行い、その後、ステップＳ２０１に戻る。
一方、ステップＳ２０５の判断の結果、記憶媒体に問題がない場合には、ステップＳ２０６に進む。ステップＳ２０６において、システム制御部１１２は、表示部１１０を用いて、画像や音声により撮像装置１００の各種の設定状態におけるユーザインターフェース（以下、「ＵＩ」と称する）の表示を行う。このようにしてユーザによる各種の設定がなされる。
続いて、ステップＳ２０７において、システム制御部１１２は、表示部１１０における撮像画像表示をオン状態に設定する。
続いて、ステップＳ２０８において、システム制御部１１２は、撮像した画像データに基づく撮像画像を逐次表示するスルー表示状態に設定する。このスルー表示状態では、メモリ１０８に逐次書き込まれた画像データを表示部１１０に逐次表示することにより、電子ファインダ機能が実現される。
続いて、ステップＳ２０９において、システム制御部１１２は、撮影者などのユーザによって撮像装置１００のシャッタースイッチ（不図示）が押されてオンされたか否かを判断する。この判断の結果、シャッタースイッチがオンされていない場合には、ステップＳ２０１に戻る。
一方、ステップＳ２０９の判断の結果、シャッタースイッチがオンされた場合には、続いて、ステップＳ２１０において、システム制御部１１２は、露出制御部１１３や焦点制御部１１４に対して、所定のＡＥ制御、ＡＦ制御を行わせ、その後、撮影を行う。なお、ＡＥ制御及びＡＦ制御は、シャッタースイッチのオン後に所定時間間隔で行うようにしても良いし、或いは、後述するステップＳ２１２の表情認識処理で行われる顔検出処理の結果に応じて再度行うようにしても良い。
続いて、ステップＳ２１１において、システム制御部１１２は、ステップＳ２１１による撮影の結果得られた画像データを表示部１１０にスルー表示する。
続いて、ステップＳ２１２において、システム制御部１１２は、デジタル信号処理部１０７に対して、撮像された画像データを用いた表情認識処理を行わせる。
以下、このステップＳ２１２における人物（被写体）の表情認識処理の方法について説明する。
図３は、デジタル信号処理部１０７で行われる表情認識処理に係る機能構成を示すブロック図である。
図３に示す目・口・顔検出手段１５０は、Ａ／Ｄ変換部１０５から出力された画像データ（デジタル信号）に対して所定の処理を行うことにより、当該画像データに基づく画像中の特定被写体の顔位置、目の位置、口の位置を検出する。
画像正規化手段１５１は、目・口・顔検出手段１５０で検出された目の位置、口の位置、顔位置の情報から、画像データ内の顔画像データにおける顔画像サイズ及び回転方向（向き）の正規化処理を行う。
特徴点検出領域設定手段１５２は、画像正規化手段１５１で正規化された顔画像データと目・口・顔検出手段１５０で検出された顔、目及び口の位置の情報を用いて、所定の特徴点検出の対象とする領域の設定を行う。
特徴点検出手段１５３は、画像正規化手段１５１で正規化された顔画像データと特徴点検出領域設定手段１５２で設定された各設定領域から所定の特徴点の検出を行う。特徴量抽出手段１５４は、特徴点検出手段１５３で検出された所定特徴点から、表情認識に使用する所定特徴量の抽出を行う。ここで、特徴点検出手段１５３及び特徴量抽出手段１５４は、入力された画像データから被写体における複数の特徴を抽出する特徴抽出手段を構成する。
重み付け設定手段１５５は、特徴量抽出手段１５４での特徴量抽出結果に基づいて、抽出されない特徴量が存在する場合に、所定特徴量に対する重み付けの変更を行う。
表情判定手段１５６は、特徴量抽出手段１５４で抽出された所定特徴量と重み付け設定手段１５５で設定された重み付けを使用して表情の判定を行う。ここで、表情判定手段１５６は、入力された画像データにおける被写体の認識処理を行う認識処理手段を構成する。
次に、図３に示す各手段の詳細な説明を行う。
目・口・顔検出手段１５０は、Ａ／Ｄ変換部１０５から出力された画像データ（デジタル信号）に対して顔検出処理を行う。
図４は、目・口・顔検出手段１５０による顔検出処理の結果得られた人物の目、口及び顔位置を示す模式図である。ここで、目・口・顔検出手段１５０による顔位置の検出処理は、例えば、予め大量の顔画像データと非顔画像データとを用意しておき、上記の非特許文献１で示すように、Support Vector Machineで学習させ、顔領域と非顔領域とを分離して検出する方法などで実現される。これにより、図４の顔位置３０２が検出される。
目及び口の位置の検出処理は、例えば、上記顔位置の検出と同様に、予め大量の目及び口の画像データと非目及び非口の画像データとを用意しておき、Support Vector Machineで学習させて、上記検出された図４の顔位置３０２の周辺を検索する方法などで実現される。これにより、図４の目の位置３００及び３０１、並びに、口の位置３０３が検出される。また、他の方法として、上記検出された顔の位置３０２周辺において、目及び口の位置検出用のテンプレートを使用して、図４の目の位置３００及び３０１、並びに、口の位置３０３を検出する方法などがある。なお、目の位置３００及び３０１、口の位置３０３、並びに、顔位置３０２の検出は、これらの方法に限定されるわけではなく、その他の手法を用いて検出するようにしても良い。また、上記の非特許文献２に示されているように、Convolutional Neural Networkを顔検出に適用する方法もある。
画像正規化手段１５１は、目・口・顔検出手段１５０で検出された図４の顔位置３０２と目の位置３００及び３０１の３点の位置情報を使用して、目・口・顔検出手段１５０で使用された顔画像データのサイズ及びその回転方向（向き）の正規化処理を行う。
図５は、画像正規化手段１５１による正規化処理を説明するための模式図である。図５には、顔画像データのサイズ及び回転方向を正規化処理をした場合の顔画像データを示している。
本実施の形態では、図５に示すように、目の位置３００及び３０１の２点の直線の傾きが所定の傾きで（図５の例では傾きが水平）、かつ、目の位置３００及び３０１の間の距離が所定の距離となるようにアフィン変換を行って正規化処理を行う。即ち、本実施の形態では、図５に示すように、顔画像データ３０４のサイズ及び回転方向（向き）を、顔画像データ３０５に正規化処理する。なお、顔画像データのサイズ及び回転方向の正規化処理は、目の位置３００及び３０１並びに口の位置３０３、或いは、顔位置３０２及び口の位置３０３などを用いて行うようにしても良いし、また、これらの方法に限定されるわけではなく他の手法を用いても良い。
図６は、特徴点検出手段１５３により検出される所定特徴点を示す模式図である。特徴点検出領域設定手段１５２は、図６の各特徴点３５０〜３６７を検出するための領域設定を行う。
まず、図６の眉毛に係る特徴点３５０〜３５５の検出領域設定について説明する。
図７及び図８は、特徴点検出領域設定手段１５２により行われる、図６の眉毛に係る特徴点の検出領域設定を示す模式図である。
図６の特徴点３５０を検出するための検出領域４００のｘ方向における範囲は、図７に示すように、｛（左目の位置３００の座標ｘ）−（ａ／２）｝から（左目の位置３００の座標ｘ）までとする。また、検出領域４００のｙ方向における範囲は、図７に示すように、｛（左目の位置３００の座標ｙ）−（ａ／２）｝から（左目の位置３００の座標ｙ）までとする。ここで、ａの値は、左目の位置３００と右目の位置３０１との間の距離に相当する。
図６の特徴点３５２を検出するための検出領域４０１のｘ方向における範囲は、図７に示すように、（左目の位置３００の座標ｘ）から｛（左目位置３００の座標ｘ）＋（ａ／２）｝までとする。また、検出領域４０１のｙ方向における範囲は、図７に示すように、｛（左目の位置３００の座標ｙ）−（ａ／２）｝から（左目の位置３００の座標ｙ）までとする。
図６の特徴点３５１を検出するための検出領域４０４のｘ方向における範囲は、図８に示すように、｛（左目の位置３００の座標ｘ）−（ａ／８）｝から｛（左目の位置３００の座標ｘ）＋（ａ／８）｝までとする。また、検出領域４０４のｙ方向における範囲は、図８に示すように、｛（左目の位置３００の座標ｙ）−（ａ／２）｝から（左目の位置３００の座標ｙ）までとする。
以上が左の眉毛に係る特徴点３５０〜３５２を検出するための検出領域４０１及び４０２並びに４０４の設定方法である。なお、右の眉毛に係る特徴点３５３〜３５５を検出するための検出領域４０２及び４０３並びに４０５の設定方法も、この左の眉毛の場合と同様の方法でなされる。
次に、図６の目に係る特徴点３５６〜３６３の検出領域設定について説明する。
図９及び図１０は、特徴点検出領域設定手段１５２により行われる、図６の目に係る特徴点の検出領域設定を示す模式図である。
図６の特徴点３５６を検出するための検出領域４０６のｘ方向における範囲は、図９に示すように、｛（左目の位置３００の座標ｘ）−（ａ／２）｝から（左目の位置３００の座標ｘ）までとする。また、検出領域４０６のｙ方向における範囲は、図９に示すように、｛（左目の位置３００の座標ｙ）−（ａ／４）｝から｛（左目の位置３００の座標ｙ）＋（ａ／４）｝までとする。
図６の特徴点３５９を検出するための検出領域４０７のｘ方向における範囲は、図９に示すように、（左目の位置３００の座標ｘ）から｛（左目の位置３００の座標ｘ）＋（ａ／２）｝までとする。また、検出領域４０７のｙ方向における範囲は、図９に示すように、｛（左目の位置３００の座標ｙ）−（ａ／４）｝から｛（左目の位置３００の座標ｙ）＋（ａ／４）｝までとする。
図６の特徴点３５７を検出するための検出領域４１０のｘ方向における範囲は、図１０に示すように、｛（左目の位置３００の座標ｘ）−（ａ／８）｝から｛（左目の位置３００の座標ｘ）＋（ａ／８）｝までとする。また、検出領域４１０のｙ方向における範囲は、図１０に示すように、｛（左目の位置３００の座標ｙ）−（ａ／４）｝から（左目の位置３００の座標ｙ）までとする。
図６の特徴点３５８を検出するための検出領域４１１のｘ方向における範囲は、図１０に示すように、｛（左目の位置３００の座標ｘ）−（ａ／８）｝から｛（左目の位置３００の座標ｘ）＋（ａ／８）｝までとする。また、検出領域４１１のｙ方向における範囲は、図１０に示すように、（左目の位置３００の座標ｙ）から｛（左目の位置３００の座標ｙ）＋（ａ／４）｝までとする。
以上が左目に係る特徴点３５６〜３５９を検出するための検出領域４０６及び４０７、並びに、４１０及び４１１の設定方法である。なお、右目に係る特徴点３６０〜３６３を検出するための検出領域４０８及び４０９、並びに、４１２及び４１３の設定方法も、この左目の場合と同様の方法でなされる。
次に、図６の口に係る特徴点３６４〜３６７の検出領域設定について説明する。
図１１及び図１２は、特徴点検出領域設定手段１５２により行われる、図６の口に係る特徴点の検出領域設定を示す模式図である。
図６の特徴点３６４を検出するための検出領域４１４のｘ方向における範囲は、図１１に示すように、｛（口の位置３０３の座標ｘ）−（３ａ／４）｝から（口の位置３０３の座標ｘ）までとする。また、検出領域４１４のｙ方向における範囲は、図１１に示すように、｛（口の位置３０３の座標ｙ）−（３ａ／８）｝から｛（口の位置３０３の座標ｙ）＋（３ａ／８）｝までとする。
図６の特徴点３６７を検出するための検出領域４１５のｘ方向における範囲は、図１１に示すように、（口の位置３０３の座標ｘ）から｛（口の位置３０３の座標ｘ）＋（３ａ／４）｝までとする。また、検出領域４１５のｙ方向における範囲は、図１１に示すように、｛（口の位置３０３の座標ｙ）−（３ａ／８）｝から｛（口の位置３０３の座標ｙ）＋（３ａ／８）｝までとする。
図６の特徴点３６５を検出するための検出領域４１６のｘ方向における範囲は、図１２に示すように、｛（口の位置３０３の座標ｘ）−（ａ／８）｝から｛（口の位置３０３の座標ｘ）＋（ａ／８）｝までとする。また、検出領域４１６のｙ方向における範囲は、図１２に示すように、｛（口の位置３０３の座標ｙ）−（３ａ／８）｝から（口の位置３０３の座標ｙ）までとする。
図６の特徴点３６６を検出するための検出領域４１７のｘ方向における範囲は、図１２に示すように、｛（口の位置３０３の座標ｘ）−（ａ／８）｝から｛（口の位置３０３の座標ｘ）＋（ａ／８）｝までとする。また、検出領域４１７のｙ方向における範囲は、図１２に示すように、（口の位置３０３の座標ｙ）から｛（口の位置３０３の座標ｙ）＋（３ａ／８）｝までとする。
なお、上述した画像領域の分割方法は、更に分割領域を増やすなどしても良く、本実施の形態で示した形態に必ずしも限定されるわけではない。
特徴点検出手段１５３は、画像正規化手段１５１においてサイズ及び回転方向の正規化処理が行われた顔画像データ３０５と特徴点検出領域設定手段１５２で設定された各特徴点の検出領域を用いて、特徴点検出処理を行う。この際の特徴点検出方法としては、例えば、顔検出と同様に、目尻、目頭など図６の特徴点（３５０〜３６７）を検出するために必要な各テンプレートを予め用意しておき、特徴点検出領域設定手段１５２で設定された各特徴点検出領域内で検出を行う方法を用いる。なお、特徴点検出方法も、これらの方法に限定されるわけではなく、他の手法を用いて行うようにしても良い。
図１３は、特徴量抽出手段１５４で抽出される各特徴量を示す模式図である。
特徴量抽出手段１５４は、特徴点検出手段１５３で検出された各特徴点３５０〜３６７から所定特徴量（４５０〜４６４）を抽出する。
特徴量抽出手段１５４で抽出される所定特徴量としては、例えば以下の特徴量である。
特徴点３５２と特徴点３５３のｘ方向距離から眉毛間距離４５０を抽出する。特徴点３５１と特徴点３５７のｙ方向距離から眉毛・上瞼間距離４５１を抽出し、特徴点３５４と特徴点３６１のｙ方向距離から眉毛・上瞼間距離４５２を抽出する。特徴点３５２と特徴点３５９のｙ方向距離から眉毛・目頭間距離４５３を抽出し、特徴点３５３と特徴点３６０のｙ方向距離から眉毛・目頭間距離４５４を抽出する。特徴点３５０と特徴点３５６のｙ方向距離から眉毛・目尻間距離４５５を抽出し、特徴点３５５と特徴点３６３のｙ方向距離から眉毛・目尻間距離４５６を抽出する。
また、特徴点３５６と特徴点３５９のｘ方向距離から目尻・目頭間距離４５７を抽出し、特徴点３６０と特徴点３６３のｘ方向距離から目尻・目頭間距離４５８を抽出する。特徴点３５７と特徴点３５８のｙ方向距離から上下瞼間距離４５９を抽出し、特徴点３６１と特徴点３６２のｙ方向距離から上下瞼間距離４６０を抽出する。特徴点３５６と特徴点３６４のｙ方向距離から目尻・口端点間距離４６１を抽出し、特徴点３６３と特徴点３６７のｙ方向距離から目尻・口端点間距離４６２を抽出する。特徴点３６４と特徴点３６７のｘ方向距離から口端点間距離４６３を抽出する。特徴点３６５と特徴点３６６のｙ方向距離から上下唇間距離４６４を抽出する。
また、特徴量抽出手段１５４は、予め用意しておいた無表情の顔画像データから得られた各特徴量と、表情認識対象となる画像データから得られた各特徴量に基づいて、各特徴量の変化量を算出する。
図１４は、特徴量抽出手段１５４で抽出された各特徴量から変化量を求める際のフローチャートである。
まず、ステップＳ３００において、特徴量抽出手段１５４で抽出した各特徴量が、予め用意しておく無表情画像データのものであるか否かを判断する。この判断の結果、特徴量抽出手段１５４で抽出した各特徴量が無表情画像データのものである場合には、続いて、ステップＳ３０１において、特徴量抽出手段１５４で抽出した各特徴量を参照特徴量として、例えば自身の内部メモリに登録する。
一方、ステップＳ３００の判断の結果、特徴量抽出手段１５４で抽出した各特徴量が無表情画像データでない、即ち表情認識対象となる画像データである場合には、ステップＳ３０２に進む。ステップＳ３０２では、表情認識対象となる画像データから抽出された各特徴量と、ステップＳ３０１で登録された無表情画像データの各特徴量との差分や比を計算し、無表情画像データからの変化量を算出する。
この際、各特徴量の変化量の算出処理は、例えば、前フレーム画像データ、自動的に抽出した無表情画像データ、もしくは平均的な無表情モデルなどを用いて、差分や比を計算し変化量を算出する方法であっても良く、本実施の形態で示した方法に限定されない。
図１５は、重み付け設定手段１５５による、各特徴量抽出結果に基づく重み付け設定方法を示すフローチャートである。また、図１６は、表情番号毎の抽出された特徴量に対する重み付けＬＵＴ（Look Up Table）の一例を示す模式図である。ここで、図１６には、表情の種類に応じて、表情番号が付されたＬＵＴ（以降、「ＬＵＴ１」とする）が示されており、図１６（ａ）に表情番号１、図１６（ｂ）に表情番号２、・・・が示されている。
重み付け設定手段１５５は、図１５に示すように、まず、ステップＳ４００において、特徴量抽出手段１５４により全ての所定特徴量が抽出できたか否かを判断する。この判断の結果、全ての所定特徴量が抽出できた場合には、続いて、ステップＳ４０１において、予め各表情の特徴量毎に設定された重み付けをそのまま使用する。
一方、ステップＳ４００の判断の結果、全ての所定特徴量は抽出できていない（抽出できなかった所定特徴量がある）場合には、続いて、ステップＳ４０２において、抽出できた特徴量に対して、各表情の特徴量毎に重み付けを再度設定する。なお、重み付けを再度設定する際には、図１６に示す予め用意しておいたＬＵＴ１を参照することによって、各表情の特徴量毎に対して重み付けを再度設定する。
なお、本実施の形態においては、特徴量が抽出できない原因として、特徴点検出手段１５３において特徴点が抽出できない場合や、特徴点検出領域設定手段１５２において特徴点を抽出するための検出領域の設定ができない場合等が考えられる。
次に、ＬＵＴ１の作成方法について説明する。
図１７は、図１６に示すＬＵＴ（ＬＵＴ１）の作成方法を示すフローチャートである。このＬＵＴ１の作成方法では、未抽出の特徴量の数に応じて、重み付けの和を変更するようにしている。
即ち、ある表情に対して、まず、ステップＳ５００において、未検出特徴量がｎ個未満であるか否かを判断する。この判断の結果、未検出特徴量がｎ個未満である場合には、続いて、ステップＳ５０１において、重み付けの和をα（αは定数）とするように重み付けを行う。
一方、ステップＳ５００の判断の結果、未検出特徴量がｎ個以上存在する場合には、続いて、ステップＳ５０２において、重み付けの和をα−β＊ｎ（βは定数）に設定し、抽出された特徴量の重要度に応じて、各特徴量に重み付けを割り当てるようにする。
例えば、ｎ＝１とした場合には、全ての特徴量が抽出された場合の重み付けの和と、未抽出特徴量があった場合の重み付けの和とを同一にするのではなく、未抽出特徴量の数分だけ重み付けの和を小さくする。なお、未検出特徴量がｎ個以上存在する場合にも、重み付けの和がαとなるように重み付けしても良い。
以下に、未検出特徴量に応じて再度重み付けを行う理由について、具体的な例を挙げて説明する。
図１８は、各特徴点から抽出される各特徴量の重要度（重み付け）の一例を示す特性図である。
例えば、特徴点検出手段１５３によりある特徴点が検出できず、特徴量抽出手段１５４で特徴量Ａが抽出できなかった場合に、各表情のうち、笑顔の表情に対して重み付けを行う処理とする。
図１８において、重み付けを行うための重みは、横軸を特徴量の変化量、縦軸をスコアーとした場合の「傾き」に相当する。この場合、特徴量Ａ（５００）は、笑顔の表情か否かを判定するための重要度（重み）が他の特徴量Ｂ（５０１）及び特徴量Ｃ（５０２）と比べて大きくなっているが、特徴量Ａ（５００）が抽出できていないため、特徴量Ａ（５００）を使用することができない。
よって、通常ならば、重みの大きい特徴量Ａ（５００）を除いた他の特徴量Ｂ（５０１）及び特徴量Ｃ（５０２）を使用して笑顔の表情の判定を行うことになる。しかしながら、現状で設定されている重み付けは、特徴量Ａ〜Ｃの全てが抽出された場合でのみ、笑顔の表情を判定するために用いる重み付けである。
そのため、このままの重み付けを使用して笑顔の表情の判定を行うと、抽出できなかった特徴量Ａ（５００）の寄与が大きいため、笑顔の表情度を表す全体スコアーが常に非常に低い値となってしまう。そこで、本実施の形態では、図１６のＬＵＴ１に従って重み付けを変更する。
図１９は、図１８に示す各特徴量のうちの特徴量Ａが抽出できなかった場合に、抽出された他の特徴量Ｂ及びＣの重みをＬＵＴ１に従って変更した一例を示す特性図である。
例えば、図１６のＬＵＴ１を用いて、図１９に示すように、抽出された特徴量Ｂ（５０１）の重みを特徴量Ｂ'（５０３）、特徴量Ｃ（５０２）の重みを特徴量Ｃ'（５０４）のように変更する。
なお、図１８及び図１９に示す例では、各特徴量の重みを線形関数の傾きとしているが、本実施の形態においては、線形関数の傾きに限定されるわけではない。このように、全特徴量のうち抽出された特徴量に対して再度の重み付けを行うことによって、抽出された特徴量及びその特徴量に対する重みを使用して表情認識処理が可能となる。
表情判定手段１５６は、各表情におけるスコアーを算出し、最も高いスコアーとなった表情を、表情認識対象となる画像データの人物（被写体）の表情として判定する。以上の処理を行うことにより、図２のステップＳ２１２における表情認識処理が行われる。
なお、各表情のスコアーの算出方法の一例としては、下記の数式１に従って特徴量変化量ｌi、表情番号Ｎの特徴量の重みｗiから、所定関数funcを使用して表情番号Ｎの特徴量ｉに対するスコアー（Scorei N）を算出する。なお、所定関数funcは、図１８及び図１９の各線形関数に相当する。続いて、下記の数式２に従って、算出したスコアー（Scorei N）を特徴量の数ｎ個分だけ加算することによって、表情番号Ｎの表情スコアー（SumScoreＮ）が算出される。
Figure 0004845755
ここで、再び、図２の説明に戻る。
上述した処理により、図２のステップＳ２１２における表情認識処理が行われると、ステップＳ２１３に進む。
続いて、ステップＳ２１３において、システム制御部１１２は、ステップＳ２１２での表情認識処理の結果判定された表情が、予め設定された所定の表情（例えば笑顔）であるか否かを判断する。この判断の結果、ステップＳ２１２での表情認識処理の結果判定された表情が、予め設定された所定の表情である場合には、ステップＳ２１４に進む。
ステップＳ２１４において、システム制御部１１２は、撮像素子１０３による撮影動作を行い、得られた画像データをメモリ１０８に書き込む（記憶する）制御を行う。
続いて、ステップＳ２１５において、システム制御部１１２は、ステップＳ２１４での撮影の結果得られた画像データを表示部１１０にクイックレビュー表示する制御を行う。
続いて、ステップＳ２１６において、システム制御部１１２は、メモリ１０８に書き込まれた撮像画像データを例えばデジタル信号処理部１０７に画像圧縮処理させ、処理後の画像データをインタフェース１１１を介して記憶媒体へ記録する記録処理を行う。なお、記憶媒体へ記録処理を行う前に、必要に応じて、高輝度或いは低輝度の色を薄くする色消し処理などの他の画像処理を行うようにしても良い。
ステップＳ２１６の処理が終了した場合、或いは、ステップＳ２１３でステップＳ２１２での表情認識処理の結果判定された表情が予め設定された所定の表情でないと判断された場合には、ステップＳ２１７に進む。
ステップＳ２１７において、システム制御部１１２は、例えば、撮像装置１００のシャッタースイッチ（不図示）が再度押されてオンされた等を検出することにより、自動撮影を終了するか否かを判断する。
ステップＳ２１７の判断の結果、自動撮影を終了しない場合には、ステップＳ２１１に戻る。一方、ステップＳ２１７の判断の結果、自動撮影を終了する場合には、図２に示すフローチャートにおける処理を終了する。
第１の実施の形態に係る撮像装置によれば、全ての所定特徴量が抽出されなかった場合であっても、抽出できた所定特徴量に対して重み付けの変更を行い、画像データ内の人物の表情を認識処理することによって、当該認識処理を精度良く行うことが可能となる。
なお、第１の実施の形態では、撮像装置１００の一例として電子スチルカメラを適用した場合について説明したが、例えば、ビデオカメラ等を適用したものであっても良い。また、所定のプログラムをコンピュータで実行させることにより、データベース中の動画像データ、もしくは静止画像データから所定の表情における顔画像データの検索に用いるようにしても良い。
（第２の実施の形態）
以下、添付図面を参照して、本発明における第２の実施の形態を詳しく説明する。
第２の実施の形態に係る撮像装置（画像処理装置）の構成は、図１に示す第１の実施の形態に係る撮像装置の構成に対して、デジタル信号処理部１０７の内部構成のみが異なる。即ち、図１に示す第１の実施の形態に係るデジタル信号処理部１０７に対して、図２０に示すデジタル信号処理部２０７を適用した形態である。また、第２の実施の形態に係る撮像装置（画像処理装置）の制御動作については、図２に示す第１の実施の形態に係る撮像装置の制御動作のステップＳ２１２における表情認識処理の内容以外は同様である。
図２０は、第２の実施の形態におけるデジタル信号処理部２０７で行われる表情認識処理に係る機能構成を示すブロック図である。
図２０に示す目・口・顔検出手段６００は、Ａ／Ｄ変換部１０５から出力された画像データ（デジタル信号）に対して所定の処理を行うことにより、当該画像データに基づく画像中の特定被写体の顔位置、目の位置、口の位置を検出する。
画像正規化手段６０１は、目・口・顔検出手段６００で検出された目の位置、口の位置、顔位置の情報から、画像データ内の顔画像データにおける顔画像サイズ及び回転方向（向き）の正規化処理を行う。
特徴ベクトル抽出領域設定手段６０２は、目・口・顔検出手段６００で検出された目の位置、口の位置及び顔位置の情報と画像正規化手段６０１で正規化した画像データを用いて、特徴ベクトルを抽出するための各抽出領域の設定を行う。
特徴ベクトル抽出手段６０３は、特徴ベクトル抽出領域設定手段６０２で設定された各抽出領域と、画像正規化手段６０１で正規化された画像データを用いて、各特徴ベクトルを抽出する。ここで、特徴ベクトル抽出手段６０３は、入力された画像データから被写体における複数の特徴を抽出する特徴抽出手段を構成する。
表情限定手段６０４は、特徴ベクトル抽出手段６０３での各特徴ベクトルの抽出結果に基づいて、表情認識処理の対象とする人物の表情の範囲を限定する。
重み付け設定手段６０５は、表情限定手段６０４で限定された各表情における各特徴ベクトル毎に、例えば図１６に示すようなＬＵＴ１を用いて重み付けを行う。
表情判定手段６０６は、表情限定手段６０４で限定された各表情の情報と、重み付け設定手段６０５で設定された重み付けと、特徴ベクトル抽出手段６０３で抽出された各特徴ベクトルを用いて、表情認識処理を行う。そして、表情判定手段６０６では、当該表情認識処理の結果、表情限定手段６０４で限定された各表情のうち、最も高いスコアーとなった表情を、表情認識対象となる画像データの人物（被写体）の表情として判定する。
以下に、この表情認識処理を詳細に説明する。
目・口・顔検出手段６００及び画像正規化手段６０１では、それぞれ、第１の実施の形態における目・口・顔検出手段１５０及び画像正規化手段１５１と同様の処理が行われる。
以下、特徴ベクトル抽出領域設定手段６０２の詳細な処理について説明する。
図２１は、特徴ベクトル抽出領域設定手段６０２により行われる、特徴ベクトルを抽出する各抽出領域設定を示す模式図である。ここで、図２１には、特徴ベクトル抽出領域設定手段６０２で設定される特徴ベクトル抽出領域７０１〜７０７が示されている。また、左目の位置３００と右目の位置３０１のｘ方向距離をａとする。
図２１に示す抽出領域７０１のｘ方向における範囲は、｛（左目の位置３００の座標ｘ）−（ａ／２）から｛（左目の位置３００の座標ｘ）＋（ａ／２）｝までとする。また、抽出領域７０１のｙ方向における範囲は、｛（左目の位置３００の座標ｙ）−（３ａ／４）｝から｛（左目の位置３００の座標ｘ）−（ａ／４）｝までとする。
図２１に示す抽出領域７０３のｘ方向における範囲は、｛（左目の位置３００の座標ｘ）−（ａ／２）｝から｛（左目の位置３００の座標ｘ）＋（ａ／２）｝までとする。また、抽出領域７０３のｙ方向における範囲は、｛（左目の位置３００の座標ｙ）−（ａ／４）｝から｛（左目の位置３００の座標ｙ）＋（ａ／４）｝までとする。
図２１に示す抽出領域７０５のｘ方向における範囲は、｛（顔位置３０２の座標ｘ）−ａ｝から（顔位置３０２の座標ｘ）までとする。また、抽出領域７０５のｙ方向における範囲は、｛（顔位置３０２の座標ｙ）−（ａ／４）｝から｛（顔位置３０２の座標ｙ）＋（ａ／４）｝までとする。
以上が顔画像データの左側部分における抽出領域７０１、７０３及び７０５の設定方法である。同様にして、顔画像データの右側部分における各抽出領域７０２、７０４及び７０６の設定方法も、この左側部分における抽出領域の設定方法と同様の方法でなされる。
図２１に示す抽出領域７０７のｘ方向における範囲は、｛（口の位置３０３の座標ｘ）−（３ａ／４）｝から｛（口の位置３０３の座標ｘ）＋（３ａ／４）｝までとする。また、抽出領域７０７のｙ方向における範囲は、｛（口の位置３０３の座標ｙ）−（３ａ／８）｝から｛（口の位置３０３の座標ｙ）＋（３ａ／８）｝までとする。
なお、上述した画像領域の分割方法は、更に分割領域を増やすなどしても良く、本実施の形態で示した形態に必ずしも限定されるわけではない。
続いて、特徴ベクトル抽出手段６０３では、まず、画像正規化手段６０１によって正規化処理された画像データに対して、例えば、Sobelフィルタなどのエッジ検出フィルタを用いて、エッジ画像データを生成する。
次に、特徴ベクトル抽出手段６０３では、特徴ベクトル抽出領域設定手段６０２で設定された各抽出領域と上記エッジ検出フィルタの出力値を用いて、エッジ検出フィルタの出力値そのものである特徴ベクトルを抽出する。
例えば、あるｎ１×ｍ１画素領域内の（ｉ，ｊ）成分のフィルタ出力値をａ（ｉ，ｊ）とする場合、ｎ１×ｍ１次元の特徴ベクトルＡ（... , ａ（ｉ，ｊ）, ...）を算出する。また、これを所定の抽出領域分だけ行い、エッジ顔画像データ内から所定抽出領域数Ｎ個の特徴ベクトルが抽出される。この所定抽出領域から抽出されたＮ個のフィルタ出力値の特徴ベクトルは、以降の表情の判定処理に用いられる。
なお、上述したフィルタは、他の種類のフィルタを用いても良いし、また、フィルタ処理を行わずに正規化された輝度画像データそのものを用いても良い。また、本実施の形態においては、特徴ベクトルが抽出されない原因として、上記所定フィルタの出力値が得られない場合や、特徴ベクトルを抽出するための抽出領域の設定ができない場合等が考えられる。
表情限定手段６０４は、特徴ベクトル抽出領域設定手段６０２における各抽出領域の設定結果、もしくは特徴ベクトル抽出手段６０３での各特徴ベクトルの抽出結果に基づいて、表情認識処理の対象とする人物の表情の範囲を限定する。
図２２は、表情限定手段６０４による表情の限定処理を行う際に用いるＬＵＴの一例を示す模式図である。以降の説明においては、図２２に示すＬＵＴを「ＬＵＴ２」として説明する。
未設定領域Ａ、つまり、抽出領域Ａから特徴ベクトルが抽出されない場合には、図２２のＬＵＴ２を参照することによって、表情番号１、表情番号２．．．のそれぞれに対応する表示だけに対して、表情認識処理が行われる。
例えば、何らかの装着物によって、目の位置３００及び３０１が検出できずに、図２１の抽出領域７０１〜７０４が設定されない、つまり、当該抽出領域の特徴ベクトルが抽出されない場合、図２２に示す予め用意しておいたＬＵＴ２を参照することによって、例えば、笑顔の表情だけの表情認識処理を行うようにする。
これは、上述したように、例えば、笑顔の表情は、一般的に口の周辺が大きく変化するという特徴があるため、口周辺は笑顔の表情を判定するための重要度が高い。よって、抽出領域７０１〜７０４から特徴ベクトルが抽出されない場合には、抽出領域７０７における特徴ベクトルに基づいて口周辺の変化を分析する。これにより、変化の度合いの大きな（即ち、精度良く認識処理できる）笑顔の表情などの限定された表情だけを認識処理することが可能である。
図２３は、表情限定手段６０４による処理を示すフローチャートである。
まず、ステップＳ６００において、特徴ベクトル抽出手段６０３で全て（Ｎ個）の特徴ベクトルが抽出されたか否かを判断する。
ステップＳ６００の判断の結果、特徴ベクトル抽出手段６０３で全て（Ｎ個）の特徴ベクトルが抽出された場合には、続いて、ステップＳ６０１において、認識処理する対象の表情を限定せずに全ての表情を認識処理する。
一方、ステップＳ６００の判断の結果、特徴ベクトル抽出手段６０３で全て（Ｎ個）の特徴ベクトルは抽出されなかった（抽出できなかった特徴ベクトルがある）場合には、ステップＳ６０２に進む。そして、ステップＳ６０２において、認識処理する対象の表情を、例えば上述したＬＵＴ２を用いて限定する。
図２４は、図２２に示す表情を限定処理するためのＬＵＴ（ＬＵＴ２）の作成方法を示すフローチャートである。
まず、ステップＳ７００において、全ての表情に対して、表情毎に、各特徴ベクトルの重み付けを行う。
続いて、ステップＳ７０１において、ある表情Ｘについて、特徴ベクトルＹが検出されないと想定する。
続いて、ステップＳ７０２において、特徴ベクトルＹの重み付けが、表情Ｘにおいて上位Ｚ以内であるか否かを判断する。
ステップＳ７０２の判断の結果、特徴ベクトルＹの重み付けが、表情Ｘにおいて上位Ｚ以内でない場合には、続いて、ステップＳ７０３において、表情Ｘを、特徴ベクトルＹが検出されない場合でも認識処理を行う表情、即ち限定表情とする。
一方、ステップＳ７０２の判断の結果、特徴ベクトルＹの重み付けが、表情Ｘにおいて上位Ｚ以内である場合には、続いて、ステップＳ７０４において、表情Ｘを、特徴ベクトルＹが検出されない場合には認識処理しない表情とする。
重み付け設定手段６０５は、表情限定手段６０４で限定された各表情の各特徴ベクトルに対して、図１６に示すＬＵＴ１と同様に、重み付けＬＵＴ３を予め用意しておき、重み付けＬＵＴ３を参照することによって、重み付けの設定を行う。
表情判定手段６０６は、まず、表情限定手段６０４で限定された各表情に関して、各表情に対応する各参照特徴ベクトルと、特徴ベクトル抽出手段６０３で抽出された各特徴ベクトルとの類似度を算出する。その後、表情判定手段６０６は、各特徴ベクトルから得られた類似度を各表情毎に加算することによって、各表情に関して総合類似度を算出し、最も類似度の高い表情を、表情認識対象となる画像データの人物（被写体）の表情として判定する。
なお、上述した参照特徴ベクトルは、１人の人物に対する様々な表情を含む複数人物の大量データベースを予め用意しておき、各表情の各領域から特徴ベクトルを算出し、各表情の各領域から算出された特徴ベクトルの平均を各参照特徴ベクトルとする。つまり、人物Ａに対して表情１の領域ｄから特徴ベクトル１を算出し、人物Ｂに対しても同様に表情１の領域ｄから特徴ベクトル２を算出し、これを複数人物に対して行い、これらの特徴ベクトルの平均を各参照特徴ベクトルとする。
ここで、参照特徴ベクトルと特徴ベクトル抽出手段６０３で抽出された特徴ベクトルとの類似度の算出方法について説明する。
まず、例えば、上述した非特許文献３に示されているように、各領域から抽出される参照特徴ベクトルに対して主成分分析を行い、上位ｋ個の固有ベクトルから構成される各部分空間を決定する。次に、各参照特徴ベクトルから決定された各部分空間内に各特徴ベクトルを射影した後、それらのユークリッド距離の逆数に、重み付け設定手段６０５で設定された重み付けを掛けた値を、各特徴ベクトルにおける各類似度として算出する。そして、限定された表情の中で、類似度の総和が最も高い表情を、表情認識対象となる画像データの人物（被写体）の表情として決定する。
なお、参照特徴ベクトルは、本実施の形態以外の方法で抽出するようにしても構わない。また、２つの特徴ベクトルの類似度は、ユークリッド距離以外の要素を用いて算出するようにしても構わない。また、ユークリッド距離の逆数に重み付けを掛けた値を類似度とする以外の方法を採用しても良い。更に、入力画像を複数枚用意し、上述した特許文献５に示されているような制約相互部分空間法等を用いても構わない。
第２の実施の形態に係る撮像装置によれば、所定の特徴ベクトルを抽出できない場合であっても、認識処理を行う表情を限定処理することで、画像データ内の人物の表情の認識処理を精度良く行うことが可能となる。
なお、第２の実施の形態においても、第１の実施の形態と同様、撮像装置１００の一例として電子スチルカメラを適用した場合について説明したが、例えば、ビデオカメラ等を適用したものであっても良い。また、所定のプログラムをコンピュータで実行させることにより、データベース中の動画像データ、もしくは静止画像データから所定の表情における顔画像データの検索に用いるようにしても良い。
（第３の実施の形態）
以下、添付図面を参照して、本発明における第３の実施の形態を詳しく説明する。
第３の実施の形態に係る撮像装置（画像処理装置）の構成は、図１に示す第１の実施の形態に係る撮像装置の構成に対して、デジタル信号処理部１０７の内部構成のみが異なる。即ち、図１に示す第１の実施の形態に係るデジタル信号処理部１０７に対して、図２５に示すデジタル信号処理部３０７を適用した形態である。また、第３の実施の形態に係る撮像装置（画像処理装置）の制御動作については、図２に示す第１の実施の形態に係る撮像装置の制御動作のステップＳ２１２における表情認識処理の内容以外は同様である。
図２５は、第３の実施の形態におけるデジタル信号処理部３０７で行われる表情認識処理に係る機能構成を示すブロック図である。
図２５に示す目・口・顔検出手段８００は、Ａ／Ｄ変換部１０５から出力された画像データ（デジタル信号）に対して所定の処理を行うことにより、当該画像データに基づく画像中の特定被写体の顔位置、目の位置、口の位置を検出する。
画像正規化手段８０１は、目・口・顔検出手段８００で検出された目の位置、口の位置、顔位置の情報から、画像データ内の顔画像データにおける顔サイズ及び回転方向（向き）の正規化処理を行う。
特徴点検出領域設定手段８０２は、画像正規化手段８０１で正規化された顔画像データと目・口・顔検出手段８００で検出された顔、目及び口の位置の情報を用いて、所定の特徴点検出領域の設定を行う。
特徴点検出手段８０３は、画像正規化手段８０１で正規化された顔画像データと特徴点検出領域設定手段８０２で設定された各設定領域から所定の特徴点の検出を行う。
特徴点補足手段８０４は、特徴点検出手段８０３で未検出の特徴点が存在する場合に、特徴点の補足処理を行う。
特徴量抽出手段８０５は、特徴点検出手段８０３で検出された所定特徴点と特徴点補足手段８０４で補足処理された特徴点から、表情認識に使用する所定特徴量の抽出を行う。
重み付け設定手段８０６は、特徴量抽出手段８０５で抽出された各特徴量の重み付けを設定する。
表情判定手段８０７は、特徴量抽出手段８０５で抽出された所定特徴量と重み付け設定手段８０６で設定された重み付けを使用して表情の判定を行う。
次に、図２５に示す各手段の詳細な説明を行う。
ここで、目・口・顔検出手段８００、画像正規化手段８０１、特徴点検出領域設定手段８０２及び特徴点検出手段８０３は、それぞれ、図３に示す同名称の各手段と同様の処理を行うものであるため、その詳細な説明は省略する。
以下に、特徴点補足手段８０４による詳細な説明を行う。
図２６は、特徴点補足手段８０４における未検出の特徴点の補足処理を示すフローチャートである。図２７は、特徴点検出手段８０３により一部の特徴点（３６０及び３６３）が検出されなかった場合の顔画像データを示す模式図である。図２８は、図２７に示す未検出特徴点を補足処理する方法を示す模式図である。
特徴点補足手段８０４は、まず、図２６のステップＳ８００において、特徴点検出手段８０３による特徴点の検出において未検出の特徴点が存在するか否かを判断する。この判断の結果、未検出の特徴点が存在しない場合には、図２６におけるフローチャートの処理を終了する。
一方、ステップＳ８００の判断の結果、図２７に示す特徴点３６０及び３６３のように、未検出の特徴点が存在する場合には、ステップＳ８０１に進む。そして、ステップＳ８０１において、所定軸（特定軸）を中心として当該未検出特徴点と対称の位置にある特徴点が検出されているか否かを判断する。即ち、ここでは、例えば、未検出の特徴点が特徴点３６０の場合に、顔領域の中心、つまり図２８に示す顔位置３０２を通る直線を中心軸（所定軸）として、当該特徴点３６０と対称な特徴点３５９が検出されているか否かを判断することになる。
ステップＳ８０１の判断の結果、所定軸を中心として未検出特徴点と対称の位置にある特徴点が検出されている場合には、続いて、ステップＳ８０２において、当該未検出特徴点の補足処理が行われる。
ステップＳ８０２では、まず、例えば、図２８に示すように、顔位置３０２を基準として、検出された特徴点３５９への相対座標（ｘ１，ｙ１）を求める。次に、顔位置３０２（ｘ，ｙ）と相対座標（ｘ１，ｙ１）を用いて、座標（ｘ＋ｘ１，ｙ−ｙ１）を求め、この座標を特徴点３６０の座標値とする。未検出の特徴点３６３に関しても、特徴点３６０の場合と同様の処理を行い、特徴点３６３の座標値を算出する。このようにして、ほとんど変動が見られないような特徴点に関しては、検出された特徴点を使用して補足処理を行う。
一方、ステップＳ８０１の判断の結果、所定軸を中心として未検出特徴点と対称の位置にある特徴点が検出されていない場合には、続いて、ステップＳ８０３において、未検出特徴点の補足処理を行わない。
特徴量抽出手段８０５は、第１の実施形態における特徴量抽出手段１５４と同様に、認識処理対象の画像データに関する各特徴量を抽出する。その後、認識処理対象の画像データに関する各特徴量と予め用意しておいた無表情の顔画像データから得られた特徴量との差分もしくは比を算出することによって、認識処理対象の画像データにおける各特徴量の変化量を算出する。
重み付け設定手段８０６は、第１の実施の形態の重み付け設定手段１５５と同様に、例えば、図１６に示す重み付けＬＵＴ１を用いることによって、各表情の各特徴量に対して重み付けを行う。
表情判定手段８０７は、第１の実施の形態の表情判定手段１５６と同様に、例えば、各表情に関して総合スコアーを算出し、最も高いスコアーとなった表情を、表情認識対象となる画像データの人物の表情として判定する。
第３の実施の形態に係る撮像装置によれば、未検出の特徴点があった場合、当該未検出の特徴点を補足して重み付け処理を行い、画像データ内の人物の表情を認識処理することによって、当該認識処理を精度良く行うことが可能となる。
なお、第３の実施の形態においても、第１の実施の形態と同様、撮像装置１００の一例として電子スチルカメラを適用した場合について説明したが、例えば、ビデオカメラ等を適用したものであっても良い。また、所定のプログラムをコンピュータで実行させることにより、データベース中の動画像データ、もしくは静止画像データから所定の表情における顔画像データの検索に用いるようにしても良い。
（第４の実施の形態）
以下、添付図面を参照して、本発明における第４の実施の形態を詳しく説明する。
第４の実施の形態に係る撮像装置（画像処理装置）の構成は、図１に示す第１の実施の形態に係る撮像装置の構成に対して、デジタル信号処理部１０７の内部構成のみが異なる。即ち、図１に示す第１の実施の形態に係るデジタル信号処理部１０７に対して、図３０に示すデジタル信号処理部４０７を適用した形態である。
より具体的には、第１の実施の形態（第２及び第３の実施形態も同様）におけるデジタル信号処理部では表情認識処理を行うものであったが、第４の実施の形態におけるデジタル信号処理部４０７では、後述の個人照合処理を行うものである。また、第４の実施の形態に係る撮像装置（画像処理装置）の制御動作については、図２に示す第１の実施の形態に係る撮像装置の制御動作のステップＳ２１２及びＳ２１３が、図２９に示すステップＳ９０１及びＳ９０２の処理に変更となる以外は同様である。
図２９は、第４の実施の形態に係る撮像装置（画像処理装置）１００の制御動作を示すフローチャートである。なお、この図２９に示す処理を実行するプログラムは、システム制御部１１２内の内部メモリに記憶されており、システム制御部１１２による制御の下に実行される。
システム制御部１１２は、図２に示すステップＳ２００〜Ｓ２１１までの処理を行った後、続いて、ステップＳ９０１において、デジタル信号処理部１０７に対して、撮像された画像データを用いた個人照合処理を行う。
続いて、ステップＳ９０２において、システム制御部１１２は、ステップＳ９０１での個人照合処理の結果判定された人物が、予め設定された所定の人物であるか否かを判断する。この判断の結果、ステップＳ９０１での個人照合処理の結果判定された人物が、予め設定された所定の人物である場合には、図２に示すステップＳ２１４〜Ｓ２１７までの処理を経た後、当該フローチャートにおける処理を終了する。
一方、ステップＳ９０２の判断の結果、ステップＳ９０１での個人照合処理の結果判定された人物が、予め設定された所定の人物でない場合には、ステップＳ２１７に進む。そして、ステップＳ２１７で自動撮影終了と判断された場合に、当該フローチャートにおける処理を終了する。
図３０は、第４の実施の形態におけるデジタル信号処理部４０７で行われる個人照合処理に係る機能構成を示すブロック図である。
図３０に示す目・口・顔検出手段１０００は、Ａ／Ｄ変換部１０５から出力された画像データ（デジタル信号）に対して所定の処理を行うことにより、当該画像データに基づく画像中の特定被写体の顔位置、目の位置、口の位置を検出する。
画像正規化手段１００１は、目・口・顔検出手段１０００で検出された目の位置、口の位置、顔位置の情報から、画像データ内の顔画像データにおける顔画像サイズ及び回転方向（向き）の正規化処理を行う。
特徴ベクトル抽出領域設定手段１００２は、目・口・顔検出手段１０００で検出された目の位置、口の位置及び顔位置の情報と画像正規化手段１００１で正規化した画像データを用いて、特徴ベクトルを抽出するための各抽出領域の設定を行う。
特徴ベクトル抽出手段１００３は、特徴ベクトル抽出領域設定手段１００２で設定された各抽出領域と、画像正規化手段１００１で正規化された画像データを用いて、各特徴ベクトルを抽出する。
照合人物限定手段１００４は、特徴ベクトル抽出手段１００３での特徴ベクトルの抽出結果に基づいて、照合する対象人物の範囲を限定する。
個人照合手段１００５は、特徴ベクトル抽出手段１００３で抽出された特徴ベクトルを用いて、照合人物限定手段１００４で限定された照合対象人物に対して個人照合処理を行う。
次に、図３０に示す各手段の詳細な説明を行う。
ここで、目・口・顔検出手段１０００、画像正規化手段１００１、特徴ベクトル抽出領域設定手段１００２及び特徴ベクトル抽出手段１００３は、それぞれ、図２０に示す同名称の各手段と同様の処理を行うものであるため、その詳細な説明は省略する。
まず、照合人物限定手段１００４の詳細な説明を行う。
図３１は、照合人物限定手段１００４における照合する対象人物の限定処理を示すフローチャートである。
照合人物限定手段１００４は、まず、ステップＳ１０００において、特徴ベクトル抽出手段１００３により全ての特徴ベクトルが抽出されたか否かを判断する。この判断の結果、全ての特徴ベクトルが抽出された場合には、続いて、ステップＳ１００１において、照合対象人物をデータベースに格納された全ての人物とする。
一方、ステップＳ１０００の判断の結果、全ての特徴ベクトルは抽出されなかった（未抽出の特徴ベクトルがある）場合には、続いて、ステップＳ１００２において、未抽出の特徴ベクトルが所定数以内であるか否かを判断する。
ステップＳ１００２の判断の結果、未抽出の特徴ベクトルが所定数以内である場合には、続いて、ステップＳ１００３において、照合する対象人物の限定処理を行う。つまり、例えば、特徴ベクトル抽出領域設定手段１００２で設定された抽出領域Ａから特徴ベクトルが抽出されない場合、予め用意しておいたデータベース内から抽出領域Ａ以外の抽出領域で個人照合するために有効な特徴がある人物だけを選択する。この具体例を図３２を用いて説明する。
図３２は、サングラスをかけ、口付近にヒゲがある人物の顔画像データを示す模式図である。ここで、抽出領域１１０１〜１１０６は、特徴ベクトル抽出領域設定手段１００２で設定された特徴ベクトルを抽出するための抽出領域である。また、図３３は、データベースに登録されている登録人物とその人物に対応するキーワードを示した図である。
図３２の抽出領域１１０１及び１１０２から目領域に関する特徴ベクトルが抽出されない場合には、予め用意しておいたデータベース内から口付近に個人照合するための有効な特徴がある人物、例えば、図３２に示す口付近にヒゲが存在する人物などに限定する。なお、口付近にヒゲがある人物だけを予め登録されたデータベース内から選択する場合には、登録の際に図３３に示す「ヒゲ」というキーワードを組として登録しておくことで、データベース内から口付近にヒゲが存在する人物だけを簡単に選択することができる。
このようにして、図３１に示すステップＳ１００３の照合人物の限定処理が行われる。
一方、図３１のステップＳ１００２の判断の結果、未抽出の特徴ベクトルが所定数よりも多い場合には、続いて、ステップＳ１００４において、人物の照合処理を行わないように処理する。
次に、個人照合手段１００５の詳細な説明を行う。
個人照合手段１００５は、まず、第２の実施の形態で説明した手法と同様に、予め登録する同一人物について複数枚の画像データを用意し、複数枚の画像データの同一の領域から各特徴ベクトルを算出する。そして、算出した各特徴ベクトルの平均を算出することによって、各平均特徴ベクトルを算出する。
次に、各抽出領域から抽出される各平均特徴ベクトルに対して主成分分析を行い、上位ｋ個の固有ベクトルを算出し、夫々の部分空間を決定する。更に、この部分空間内に特徴ベクトル抽出手段１００３で抽出された各特徴ベクトルを射影し、それらのユークリッド距離などから類似度を算出する。そして、各特徴ベクトルから得られた類似度の累算が最も高い登録画像データに対応する人物を照合人物とする方法がある。なお、個人照合方法に関しては、本実施の形態以外の他の方法を用いても良いし、類似度に関してもユークリッド距離以外を使用しても良い。
このように、所定の特徴ベクトルが抽出できない場合でも、抽出された特徴ベクトルに個人を照合する重要な情報が含まれている場合には当該情報をキーワードとする登録人物のみを選択し照合処理を行うことで、特定の人物に対する個人照合が可能となる。以上のように、全ての特徴ベクトルは抽出されなかった場合においても、照合対象人物の範囲を限定することによって、限定された対象人物の照合処理を行うことができる。
また、他の手法として、照合処理の際、入力画像データから得られる特徴ベクトルの抽出結果に基づいて、単に上述した照合人物の限定処理を行うだけではなく、抽出された各特徴ベクトルの重み付けの変更を行ってから当該照合処理を行うようにしても良い。この各特徴ベクトルの重み付けの変更に際しては、例えば、予め用意しておいたＬＵＴ（ＬＵＴ４）を用いて行うようにする。
なお、この際に用いるＬＵＴ４の作成方法も、第１の実施の形態で説明したように、未抽出の特徴がある場合には、当該未抽出の特徴数に応じて重み付けの和を小さくし、未抽出の特徴以外の抽出された特徴の重要度に応じて重み付けの割り当てを行うようにする。
例えば、図３２の抽出領域１１０３〜１１０６から特徴ベクトルが抽出されなかった場合について考える。この場合、登録人物のうち、口付近にヒゲが存在する人物のみ照合処理を行うのだが、抽出領域１１０３〜１１０６の中で特に抽出領域１１０３及び１１０４はヒゲが存在する領域なので、個人を識別するために重要な特徴となる。よって、抽出領域１１０３及び１１０４の重みを抽出領域１１０５及び１１０６の重みよりも大きくする。以下に、この重み付け処理を行う処理のフローチャートを示す。
図３４は、図３１の照合人物限定手段１００４における照合する対象人物の限定処理において、重み付け処理を加えた処理を示すフローチャートである。ここで、図３１と同様の処理ステップについては、同様の符号を付している。
照合人物限定手段１００４は、まず、図３１と同様に、ステップＳ１０００において、特徴ベクトル抽出手段１００３により全ての特徴ベクトルが抽出されたか否かを判断する。この判断の結果、全ての特徴ベクトルが抽出された場合には、続いて、ステップＳ１００１において、照合対象人物をデータベースに格納された全ての人物とする。
一方、ステップＳ１０００の判断の結果、全ての特徴ベクトルは抽出されなかった（抽出できなかった特徴ベクトルがある）場合には、続いて、図３１と同様に、ステップＳ１００２において、未抽出の特徴ベクトルが所定数以内であるか否かを判断する。
ステップＳ１００２の判断の結果、未抽出の特徴ベクトルが所定数以内である場合には、続いて、ステップＳ１１０１において、特徴ベクトル抽出手段１００３により検出された特徴ベクトルに対して、上述したＬＵＴ４などを用いて重み付けを行う。続いて、ステップＳ１１０２において、照合する対象人物の限定処理を行う。
一方、ステップＳ１００２の判断の結果、未抽出の特徴ベクトルが所定数よりも多い場合には、図３１と同様に、続いて、ステップＳ１００４において、人物の照合処理を行わないように処理する。
なお、個人照合手段による照合処理の際の類似度算出方法は、第２の実施の形態で説明したような方法などを用いる。
このように、所定の特徴ベクトルが抽出できない場合でも、抽出された特徴ベクトルに個人を照合する重要な情報が含まれている対象人物に対して、個人照合処理が可能となる。本実施の形態の撮像装置では、全ての特徴については抽出できなかった場合、抽出された特徴の重み付けを変更し、照合対象人物の範囲を限定することによって、限定された人物の照合処理を行うことができる。
更に、ある特徴ベクトルが抽出されなかった場合に、照合対象人物を限定する処理は行わず、単に個人照合用のＬＵＴ５を用いて抽出された特徴ベクトルに対する重み付けの変更を行った後に、照合処理を行うようにしても良い。この際、ＬＵＴ５の作成方法も、上述したように、未検出の特徴数に応じて重み付けの和を小さくし、これを抽出された特徴の重要度に応じて割り当てるようにする。なお、この際、未検出の特徴数に応じて重み付けの和を小さくしなくても良い。
図３５は、図３４に示す処理において、照合対象人物の限定処理を行わずに、抽出された特徴ベクトルに対する重み付けのみを行う処理を示すフローチャートである。具体的には、ある特徴ベクトルが抽出できなかった場合に、それ以外の抽出された特徴ベクトルに対して、予め用意しておいたＬＵＴ５を用いて重み付けの変更を行った後に、照合対象人物を全ての人物とする処理を行うものである。ここで、図３４と同様の処理ステップについては、同様の符号を付している。以下に、各ステップ毎に説明を行う。
まず、図３４（図３１）と同様に、ステップＳ１０００において、特徴ベクトル抽出手段１００３により全ての特徴ベクトルが抽出されたか否かを判断する。この判断の結果、全ての特徴ベクトルが抽出された場合には、続いて、ステップＳ１００１において、照合対象人物をデータベースに格納された全ての人物とする。
一方、ステップＳ１０００の判断の結果、全ての特徴ベクトルは検出されなかった（未抽出の特徴ベクトルがある）場合には、続いて、図３１と同様に、ステップＳ１００２において、未検出の特徴ベクトルが所定数以内であるか否かを判断する。
ステップＳ１００２の判断の結果、未抽出の特徴ベクトルが所定数以内である場合には、続いて、ステップＳ１２０１において、特徴ベクトル抽出手段１００３により検出された特徴ベクトルに対して、上述したＬＵＴ５などを用いて重み付けを行う。つまり、図３６のように、抽出領域１１０２が（隠蔽等により）検出されない場合、個人照合用のＬＵＴ５を用いて抽出領域１１０１、１１０３〜１１０６の特徴ベクトルに対して重み付けを行う。そして、図３５の場合には、その後、ステップＳ１００１に進み、照合対象人物をデータベースに格納された全ての人物とする。
一方、ステップＳ１００２の判断の結果、未抽出の特徴ベクトルが所定数よりも多い場合には、続いて、ステップＳ１００４において、人物の照合処理を行わないように処理する。なお、人物の照合方法については、第２の実施の形態の表情認識処理で説明したように、類似度を用いて行うようにしても、或いは他の方法を用いて行うようにしても良い。
第４の実施の形態に係る撮像装置によれば、全ての特徴ベクトルは抽出できなかった場合であっても、抽出された特徴ベクトルの重み付けを変更することによって、画像データ内の人物の照合処理を精度良く行うことが可能となる。
なお、第４の実施形態においても、他の形態と同様、撮像装置１００の一例として電子スチルカメラを適用した場合について説明したが、例えば、ビデオカメラ等を適用したものであっても良い。また、所定のプログラムをコンピュータで実行させることにより、データベース中の動画像データ、もしくは静止画像データから所定の人物における顔画像データの検索に用いるようにしても良い。
前述した各実施形態に係る撮像装置（画像処理装置）１００では、表情認識や個人照合の認識処理をする際に、抽出できなかった特徴がある場合でも、抽出された特徴に基づいて当該特徴の重み付けを再度行って、当該認識処理を行っている。或いは、抽出できなかった特徴がある場合でも、抽出された特徴を用いて当該抽出できなかった特徴を補足し、その後、重み付けを行って表情認識や個人照合の認識処理を行っている。このような処理を行うことで、抽出できなかった特徴があった場合においても、人物の表情認識や個人照合などの認識処理を精度良く行うことが可能となる。
更に、人物の所定表情に関しては、所定の特徴や領域だけ大きく変化する場合がある。例えば、笑顔の表情の際には、口領域付近が大きく変動する。また、特定の人物の照合に関しても、照合の際に用いる顔面を構成する特定のパーツや領域が、他人と区別するための最も重要な特徴となる場合がある。例えば、口付近にヒゲが存在する人物に対しては、他の特徴よりも口付近が最も他人と区別するための特徴となる場合がある。そこで、前述した各実施形態に係る撮像装置（画像処理装置）１００では、未抽出の特徴がある場合場合でも、判定する表情や照合対象とする人物を限定することで、人物の表情認識や個人照合などの認識処理を精度良く行うことが可能となる。
前述した各実施形態に係る撮像装置（画像処理装置）１００を構成する図１、図３、図２０、図２５及び図３０の各手段、並びに撮像装置１００における画像処理方法を示す図２、図１４、図１５、図１７、図２３、図２４、図２６、図２９、図３１、図３４及び図３５の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び当該プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
具体的に、前記プログラムは、例えばＣＤ−ＲＯＭのような記憶媒体に記録し、或いは各種伝送媒体を介し、コンピュータに提供される。前記プログラムを記録する記憶媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。他方、前記プログラムの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネットの等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体を用いることができる。また、この際の通信媒体としては、光ファイバ等の有線回線や無線回線などが挙げられる。
また、コンピュータが供給されたプログラムを実行することにより各実施形態に係る撮像装置１００の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して各実施形態に係る撮像装置（画像処理装置）１００の機能が実現される場合や、供給されたプログラムの処理の全て、或いは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて各実施形態に係る撮像装置（画像処理装置）１００の機能が実現される場合も、かかるプログラムは本発明に含まれる。
第１の実施の形態に係る撮像装置（画像処理装置）の概略構成を示すブロック図である。 第１の実施の形態に係る撮像装置（画像処理装置）の制御動作を示すフローチャートである。 第１の実施の形態におけるデジタル信号処理部で行われる表情認識処理に係る機能構成を示すブロック図である。 目・口・顔検出手段による顔検出処理の結果得られた人物の目、口及び顔位置を示す模式図である。 画像正規化手段による正規化処理を説明するための模式図である。 特徴点検出手段により検出される所定特徴点を示す模式図である。 特徴点検出領域設定手段により行われる、図６の眉毛に係る特徴点の検出領域設定を示す模式図である。 特徴点検出領域設定手段により行われる、図６の眉毛に係る特徴点の検出領域設定を示す模式図である。 特徴点検出領域設定手段により行われる、図６の目に係る特徴点の検出領域設定を示す模式図である。 特徴点検出領域設定手段により行われる、図６の目に係る特徴点の検出領域設定を示す模式図である。 特徴点検出領域設定手段により行われる、図６の口に係る特徴点の検出領域設定を示す模式図である。 特徴点検出領域設定手段により行われる、図６の口に係る特徴点の検出領域設定を示す模式図である。 特徴量抽出手段で抽出される各特徴量を示す模式図である。 特徴量抽出手段で抽出された各特徴量から変化量を求める際のフローチャートである。 重み付け設定手段による、各特徴量抽出結果に基づく重み付け設定方法を示すフローチャートである。 表情番号毎の抽出された特徴量に対する重み付けＬＵＴ（Look Up Table）の一例を示す模式図である。 図１６に示すＬＵＴ（ＬＵＴ１）の作成方法を示すフローチャートである。 各特徴点から抽出される各特徴量の重要度（重み付け）の一例を示す特性図である。 図１８に示す各特徴量のうちの特徴量Ａが抽出されなかった場合に、抽出された他の特徴量Ｂ及びＣの重みをＬＵＴ１に従って変更した一例を示す特性図である。 第２の実施の形態におけるデジタル信号処理部で行われる表情認識処理に係る機能構成を示すブロック図である。 特徴ベクトル抽出領域設定手段により行われる、特徴ベクトルを抽出する各抽出領域設定を示す模式図である。 表情限定手段による表情の限定処理を行う際に用いるＬＵＴの一例を示す模式図である。 表情限定手段による処理を示すフローチャートである。 図２２に示す表情を限定処理するためのＬＵＴ（ＬＵＴ２）の作成方法を示すフローチャートである。 第３の実施の形態におけるデジタル信号処理部で行われる表情認識処理に係る機能構成を示すブロック図である。 特徴点補足手段における未検出の特徴点の補足処理を示すフローチャートである。 特徴点検出手段により一部の特徴点が検出されなかった場合の顔画像データを示す模式図である。 図２７に示す未検出特徴点を補足処理する方法を示す模式図である。 第４の実施の形態に係る撮像装置（画像処理装置）の制御動作を示すフローチャートである。 第４の実施の形態におけるデジタル信号処理部で行われる個人照合処理に係る機能構成を示すブロック図である。 照合人物限定手段における照合する対象人物の限定処理を示すフローチャートである。 サングラスをかけ、口付近にヒゲがある人物の顔画像データを示す模式図である。 データベースに登録されている登録人物とその人物に対応するキーワードを示した図である。 図３１の照合人物限定手段における照合する対象人物の限定処理において、重み付け処理を加えた処理を示すフローチャートである。 図３４に示す処理において、照合対象人物の限定処理を行わずに、抽出された特徴ベクトルに対する重み付けのみを行う処理を示すフローチャートである。 抽出領域１１０２が隠蔽された場合の人物の顔画像データを示す模式図である。
符号の説明
１００ 撮像装置（画像処理装置）
１０１ 撮像レンズ群
１０２ 光量調節部
１０３ 撮像素子
１０４ アナログ信号処理部
１０５ Ａ／Ｄ変換部
１０６ メモリ制御部
１０７ デジタル信号処理部
１０８ メモリ
１０９ Ｄ／Ａ変換部
１１０ 表示部
１１１ インタフェース（Ｉ／Ｆ）
１１２ システム制御部
１１３ 露出制御部
１１４ 焦点制御部
１５０ 目・口・顔検出手段
１５１ 画像正規化手段
１５２ 特徴点検出領域設定手段
１５３ 特徴点検出手段
１５４ 特徴量抽出手段
１５５ 重み付け設定手段
１５６ 表情判定手段

Claims (10)

  1. 入力された画像データから被写体における予め定められた複数種の特徴量を抽出する特徴量抽出手段と、
    前記複数種の特徴量のうち、前記特徴量抽出手段で抽出できなかった未抽出の特徴量がある場合、前記特徴量抽出手段で抽出された特徴量に対して当該未抽出の特徴量の種類に対応する重み付けを設定する重み付け設定手段と、
    前記重み付け設定手段で重み付けがなされた特徴量に基づいて前記被写体の認識処理を行う認識処理手段と
    を有することを特徴とする画像処理装置。
  2. 前記被写体は人物であり、前記画像データから当該被写体の顔を検出する顔検出手段を更に有し、
    前記特徴量抽出手段は、前記画像データから前記顔検出手段で検出した前記被写体の顔における予め定められた複数種の特徴量を抽出することを特徴とする請求項１に記載の画像処理装置。
  3. 前記顔検出手段で検出された前記被写体の顔のサイズ及び向きを正規化する正規化手段を更に有し、
    前記特徴量抽出手段は、前記画像データから前記正規化手段で正規化された前記被写体の顔における予め定められた複数種の特徴量を抽出することを特徴とする請求項２に記載の画像処理装置。
  4. 前記画像データに対して、前記特徴量抽出手段で抽出する前記複数種の特徴量に係る領域を設定する領域設定手段を更に有し、
    前記特徴量抽出手段は、前記領域設定手段で設定された領域から前記複数種の特徴量の抽出を行うことを特徴とする請求項１に記載の画像処理装置。
  5. 前記特徴量抽出手段は、前記被写体における特徴量として、当該特徴量に関する変化量を算出することを特徴とする請求項１に記載の画像処理装置。
  6. 前記被写体は人物であり、前記認識処理手段は、前記認識処理として、前記被写体における表情の認識処理、又は、前記被写体における個人照合を行うことを特徴とする請求項１に記載の画像処理装置。
  7. 前記認識処理手段における認識処理の結果に基づいて前記画像データの記憶を行う記憶手段を更に有することを特徴とする請求項１に記載の画像処理装置。
  8. 入力された画像データから被写体における予め定められた複数種の特徴量を抽出する特徴量抽出ステップと、
    前記複数種の特徴量のうち、前記特徴量抽出ステップで抽出できなかった未抽出の特徴量がある場合、前記特徴量抽出ステップで抽出された特徴量に対して当該未抽出の特徴量の種類に対応する重み付けを設定する重み付け設定ステップと、
    前記重み付け設定ステップで重み付けがなされた特徴量に基づいて前記被写体の認識処理を行う認識処理ステップと
    を有することを特徴とする画像処理方法。
  9. 入力された画像データから被写体における予め定められた複数種の特徴量を抽出する特徴量抽出ステップと、
    前記複数種の特徴量のうち、前記特徴量抽出ステップで抽出できなかった未抽出の特徴量がある場合、前記特徴量抽出ステップで抽出された特徴量に対して当該未抽出の特徴量の種類に対応する重み付けを設定する重み付け設定ステップと、
    前記重み付け設定ステップで重み付けがなされた特徴量に基づいて前記被写体の認識処理を行う認識処理ステップと
    をコンピュータに実行させるためのプログラム。
  10. 請求項９に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2007020137A 2007-01-30 2007-01-30 画像処理装置、画像処理方法、プログラム及び記憶媒体 Active JP4845755B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2007020137A JP4845755B2 (ja) 2007-01-30 2007-01-30 画像処理装置、画像処理方法、プログラム及び記憶媒体
EP08001353A EP1953675B1 (en) 2007-01-30 2008-01-24 Image processing for face and face expression recognition
US12/021,659 US8165399B2 (en) 2007-01-30 2008-01-29 Image processing apparatus, image processing method, and program
CN2008100047642A CN101236600B (zh) 2007-01-30 2008-01-30 图像处理设备和图像处理方法
US13/326,710 US8494233B2 (en) 2007-01-30 2011-12-15 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007020137A JP4845755B2 (ja) 2007-01-30 2007-01-30 画像処理装置、画像処理方法、プログラム及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2008186303A JP2008186303A (ja) 2008-08-14
JP4845755B2 true JP4845755B2 (ja) 2011-12-28

Family

ID=39273205

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007020137A Active JP4845755B2 (ja) 2007-01-30 2007-01-30 画像処理装置、画像処理方法、プログラム及び記憶媒体

Country Status (4)

Country Link
US (2) US8165399B2 (ja)
EP (1) EP1953675B1 (ja)
JP (1) JP4845755B2 (ja)
CN (1) CN101236600B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540768B2 (en) 2015-09-30 2020-01-21 Samsung Electronics Co., Ltd. Apparatus and method to segment object from image

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4845755B2 (ja) * 2007-01-30 2011-12-28 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP4974788B2 (ja) * 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP4853425B2 (ja) * 2007-08-14 2012-01-11 ソニー株式会社 撮像装置、撮像方法およびプログラム
JP4919297B2 (ja) * 2008-03-13 2012-04-18 富士フイルム株式会社 画像評価装置および方法並びにプログラム
US8350892B2 (en) * 2008-05-20 2013-01-08 Sony Corporation Image pickup apparatus, image pickup method, playback control apparatus, playback control method, and program
WO2010073355A1 (ja) * 2008-12-26 2010-07-01 富士通株式会社 番組データ処理装置、方法、およびプログラム
ES2377303B1 (es) * 2009-06-05 2013-02-01 Vodafone España S.A.U. Método y sistema para recomendar fotografías.
US8326002B2 (en) * 2009-08-13 2012-12-04 Sensory Logic, Inc. Methods of facial coding scoring for optimally identifying consumers' responses to arrive at effective, incisive, actionable conclusions
CN102598653B (zh) * 2009-11-02 2015-08-05 日本电气株式会社 移动通信设备和拍摄方法
JP5424819B2 (ja) * 2009-11-04 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
JP2011113318A (ja) * 2009-11-26 2011-06-09 Fujitsu Ltd 画像処理装置、画像処理方法および画像処理プログラム
JP5476955B2 (ja) * 2009-12-04 2014-04-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5812599B2 (ja) * 2010-02-25 2015-11-17 キヤノン株式会社 情報処理方法及びその装置
TWI447658B (zh) * 2010-03-24 2014-08-01 Ind Tech Res Inst 人臉影像擷取方法與裝置
FR2959046B1 (fr) 2010-04-19 2012-06-15 Michelin Soc Tech Methode de controle de l'aspect de la surface d'un pneumatique
US10917431B2 (en) * 2010-11-29 2021-02-09 Biocatch Ltd. System, method, and device of authenticating a user based on selfie image or selfie video
JP5669549B2 (ja) * 2010-12-10 2015-02-12 オリンパスイメージング株式会社 撮像装置
JP2012169777A (ja) * 2011-02-10 2012-09-06 Sony Corp 情報処理装置、情報処理方法、およびプログラム
WO2012139271A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Smile detection techniques
JP5792985B2 (ja) * 2011-04-20 2015-10-14 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US10055493B2 (en) * 2011-05-09 2018-08-21 Google Llc Generating a playlist
CA2870362C (en) * 2012-04-11 2017-03-21 Blackberry Limited Systems and methods for searching for analog notations and annotations
US9405962B2 (en) * 2012-08-14 2016-08-02 Samsung Electronics Co., Ltd. Method for on-the-fly learning of facial artifacts for facial emotion recognition
KR101939772B1 (ko) * 2012-08-14 2019-01-17 삼성전자주식회사 얼굴 감정 추론 방법 및 장치, 얼굴 감정 추론 시스템 및 컴퓨터 프로그램 기록 매체
US9158970B2 (en) 2012-11-16 2015-10-13 Canon Kabushiki Kaisha Devices, systems, and methods for visual-attribute refinement
US9122914B2 (en) * 2013-05-09 2015-09-01 Tencent Technology (Shenzhen) Co., Ltd. Systems and methods for matching face shapes
CN103259796A (zh) * 2013-05-15 2013-08-21 金硕澳门离岸商业服务有限公司 认证系统和方法
KR20150071038A (ko) * 2013-12-17 2015-06-26 삼성전자주식회사 전자 장치를 이용한 소셜 네트워크 서비스 제공 방법 및 이를 구현한 장치
US11893671B2 (en) * 2015-09-07 2024-02-06 Sony Interactive Entertainment LLC Image regularization and retargeting system
CN106504265B (zh) * 2015-09-08 2019-08-16 株式会社理光 运动估计优化方法、设备和系统
CN105260776B (zh) * 2015-09-10 2018-03-27 华为技术有限公司 神经网络处理器和卷积神经网络处理器
CN108369451B (zh) * 2015-12-18 2021-10-29 索尼公司 信息处理装置、信息处理方法及计算机可读存储介质
EP3422152A4 (en) * 2016-02-23 2020-03-11 Sony Corporation REMOTE CONTROL DEVICE, SYSTEM, METHOD, AND PROGRAM
US10157323B2 (en) * 2016-08-30 2018-12-18 Qualcomm Incorporated Device to provide a spoofing or no spoofing indication
CN107193571A (zh) * 2017-05-31 2017-09-22 广东欧珀移动通信有限公司 界面推送的方法、移动终端及存储介质
US10574883B2 (en) * 2017-05-31 2020-02-25 The Procter & Gamble Company System and method for guiding a user to take a selfie
JP6642523B2 (ja) 2017-06-19 2020-02-05 カシオ計算機株式会社 表情判定装置、表情判定方法及びプログラム
US11086634B2 (en) 2017-07-05 2021-08-10 Shanghai Cambricon Information Technology Co., Ltd. Data processing apparatus and method
CN107578014B (zh) 2017-09-06 2020-11-03 上海寒武纪信息科技有限公司 信息处理装置及方法
EP3660629B1 (en) 2017-07-05 2023-08-30 Shanghai Cambricon Information Technology Co., Ltd Data processing apparatus and method
CN109583577B (zh) 2017-09-29 2021-04-23 上海寒武纪信息科技有限公司 运算装置及方法
JP6999895B2 (ja) * 2017-07-06 2022-01-19 株式会社島津製作所 放射線撮影装置および放射線画像検出方法
CN108319953B (zh) * 2017-07-27 2019-07-16 腾讯科技（深圳）有限公司 目标对象的遮挡检测方法及装置、电子设备及存储介质
US11250246B2 (en) 2017-11-27 2022-02-15 Mitsubishi Electric Corporation Expression recognition device
CN108615014B (zh) * 2018-04-27 2022-06-21 京东方科技集团股份有限公司 一种眼睛状态的检测方法、装置、设备和介质
CN108960041B (zh) * 2018-05-17 2020-11-27 首都师范大学 图像特征提取方法及装置
WO2020095400A1 (ja) * 2018-11-08 2020-05-14 日本電気株式会社 特徴点抽出装置、特徴点抽出方法およびプログラム記憶媒体
CN109741738A (zh) * 2018-12-10 2019-05-10 平安科技（深圳）有限公司 语音控制方法、装置、计算机设备及存储介质
US11804070B2 (en) * 2019-05-02 2023-10-31 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
JP7409134B2 (ja) 2020-02-12 2024-01-09 富士通株式会社 画像処理方法、画像処理プログラム、および画像処理装置
US11475684B1 (en) * 2020-03-25 2022-10-18 Amazon Technologies, Inc. Methods and systems for performing noise-resistant computer vision techniques
CN112004020B (zh) * 2020-08-19 2022-08-12 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
WO2022147411A1 (en) 2020-12-30 2022-07-07 Assa Abloy Ab Facial expression to augment face id and presentation attack detection

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128398A (en) * 1995-01-31 2000-10-03 Miros Inc. System, method and application for the recognition, verification and similarity ranking of facial or other object patterns
JP2840816B2 (ja) 1995-03-13 1998-12-24 株式会社エイ・ティ・アール通信システム研究所 表情検出装置
US5850470A (en) * 1995-08-30 1998-12-15 Siemens Corporate Research, Inc. Neural network for locating and recognizing a deformable object
US5909501A (en) * 1996-09-09 1999-06-01 Arete Associates Systems and methods with identity verification by comparison and interpretation of skin patterns such as fingerprints
JPH10336705A (ja) 1997-06-02 1998-12-18 Canon Inc 複眼カメラ
JP4087953B2 (ja) 1998-07-14 2008-05-21 株式会社東芝 パターン認識装置及びその方法
US6466685B1 (en) 1998-07-14 2002-10-15 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method
GB9922295D0 (en) 1999-09-22 1999-11-17 Univ Manchester Identification
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
JP3575679B2 (ja) * 2000-03-31 2004-10-13 日本電気株式会社 顔照合方法と該照合方法を格納した記録媒体と顔照合装置
JP2002352229A (ja) 2001-05-30 2002-12-06 Mitsubishi Electric Corp 顔部位検出装置
JP3970573B2 (ja) * 2001-10-19 2007-09-05 アルパイン株式会社 顔画像認識装置および方法
JP4226247B2 (ja) * 2002-01-15 2009-02-18 富士フイルム株式会社 画像処理装置
JP4161659B2 (ja) 2002-02-27 2008-10-08 日本電気株式会社 画像認識システム及びその認識方法並びにプログラム
AUPS140502A0 (en) * 2002-03-27 2002-05-09 Seeing Machines Pty Ltd Method for automatic detection of facial features
KR100438841B1 (ko) * 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
JP4314016B2 (ja) * 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
WO2005008593A1 (ja) * 2003-07-18 2005-01-27 Canon Kabushiki Kaisha 画像処理装置、撮像装置、画像処理方法
JP4612806B2 (ja) 2003-07-18 2011-01-12 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置
JP2005084815A (ja) * 2003-09-05 2005-03-31 Toshiba Corp 顔認識装置、顔認識方法および通行制御装置
JP3879732B2 (ja) 2003-11-27 2007-02-14 コニカミノルタホールディングス株式会社 物体検出装置、物体検知方法、およびコンピュータプログラム
KR100559471B1 (ko) * 2003-12-17 2006-03-10 한국전자통신연구원 대칭축을 이용한 얼굴 검출 시스템 및 방법
WO2006011635A1 (en) 2004-07-30 2006-02-02 Canon Kabushiki Kaisha Image processing method and apparatus, image sensing apparatus, and program
KR100703528B1 (ko) * 2004-12-09 2007-04-03 삼성전자주식회사 영상 인식 장치 및 방법
KR100682906B1 (ko) * 2004-12-09 2007-02-15 삼성전자주식회사 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법
US7835549B2 (en) * 2005-03-07 2010-11-16 Fujifilm Corporation Learning method of face classification apparatus, face classification method, apparatus and program
JP2006287749A (ja) 2005-04-01 2006-10-19 Canon Inc 撮像装置、及びその制御方法
JP4628882B2 (ja) * 2005-06-16 2011-02-09 富士フイルム株式会社 判別器の学習方法、顔判別方法および装置並びにプログラム
DE602006009191D1 (de) 2005-07-26 2009-10-29 Canon Kk Bildaufnahmegerät und -verfahren
JP4845755B2 (ja) * 2007-01-30 2011-12-28 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540768B2 (en) 2015-09-30 2020-01-21 Samsung Electronics Co., Ltd. Apparatus and method to segment object from image

Also Published As

Publication number Publication date
EP1953675A1 (en) 2008-08-06
CN101236600B (zh) 2013-04-03
JP2008186303A (ja) 2008-08-14
EP1953675B1 (en) 2012-10-31
US8494233B2 (en) 2013-07-23
CN101236600A (zh) 2008-08-06
US20080181508A1 (en) 2008-07-31
US8165399B2 (en) 2012-04-24
US20120082384A1 (en) 2012-04-05

Similar Documents

Publication Publication Date Title
JP4845755B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP4999570B2 (ja) 表情認識装置及び方法、並びに撮像装置
JP4974788B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
EP1650711B1 (en) Image processing device, imaging device, image processing method
US8797448B2 (en) Rapid auto-focus using classifier chains, MEMS and multiple object focusing
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP4612806B2 (ja) 画像処理装置、画像処理方法、撮像装置
US7995106B2 (en) Imaging apparatus with human extraction and voice analysis and control method thereof
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP2006115406A (ja) 撮像装置
JP2008504606A (ja) 単一画像に基づくマルチ生体認証システムおよび方法
Olszewska Automated face recognition: Challenges and solutions
JP5679687B2 (ja) 情報処理装置およびその動作方法
JP4789526B2 (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111011

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4845755

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3