JP4506801B2 - 画像認識装置、画像認識方法、画像認識プログラム - Google Patents

Description

本発明は、例えば撮影画像を対象とした顔認証に用いて好適な画像認識装置、画像認識方法、画像認識プログラムに関するものである。

従来、撮影画像を対象とした顔認証では、撮影中の画像に存在する人物の顔が、予め登録されているどの人物の顔であるかが識別される。係る顔認証に際しては種々の画像認識技術が用いられるが、基本的には、撮影された個々の画像から人物の顔部分に相当する画像部分を検出する顔検出を行い、検出した顔部分の画像と、予め登録（記憶）されている複数人の顔画像とを個別に比較し、その一致度合が基準以上である顔画像を検索することによって、撮影中の画像に存在する人物の顔が、登録されているどの人物の顔であるかを特定する処理を行うものが一般的である（例えば下記特許文献１参照）。
特開２０００−３０６０９５号公報

ところで、顔認証の精度、つまり被写体識別を含む顔認識の精度を上げるためには、登録されている各々の人物毎に、多様な状態の複数種類の顔画像を認識候補として予め記憶しておくことが望ましい。しかしながら、同一人物に関する認識候補が増えると、それに従い前述した顔認識に要する処理負荷が増大し、顔認識処理により多くの時間がかかることとなる。つまり処理能力が同一の装置においては、認証精度と認証速度とがトレードオフの関係にあり、特に顔認証を繰り返し行う場合には、認証精度と認証速度とを両立させることが困難であるという問題があった。

本発明はかかる従来の課題に鑑みてなされたものであり、被写体識別を含む画像認識を繰り返して行う場合における対象物の認識精度と認識速度とを両立させることが可能となる画像認識装置、画像認識方法、画像認識プログラムを提供することを目的とする。

前記課題を解決するため、請求項１記載の発明に係る画像認識装置にあっては、連続して入力する各々の画像に対して被写体識別を含む画像認識を繰り返し行う画像認識装置において、前記各々の画像から、複数の認識候補のいずれかと一致する特定の認識対象を所定の認識条件に従い認識する認識手段と、連続して入力するいずれかの画像において前記認識手段により特定の認識対象が認識されたことに応答し、前記所定の認識条件の内容を変更する認識条件変更手段と、を備え、前記認識手段は、前記各々の画像における所定の画像部分と前記複数の認識候補にそれぞれ対応する複数の登録画像とを比較し、前記所定の画像部分と各々の登録画像との間における一致度合を取得する取得手段を含み、この取得手段により取得された一致度合に基づいて前記特定の認識対象の画像認識の成否を判定し、前記所定の認識条件には、前記取得手段が前記所定の画像部分と各々の登録画像との間における一致度合を取得するとき比較対象とする登録画像が含まれ、前記認識条件変更手段は、連続して入力するいずれかの画像において前記認識手段により特定の認識対象が認識されたことに応答し、前記比較対象を、前記取得手段により取得された一致度合が所定以上であった登録画像に制限する変更を行うことを特徴とする。

また、請求項２記載の発明に係る画像認識装置にあっては、前記認識条件変更手段は、前記認識手段により特定の認識対象が認識されたことに応答して所定時間だけ認識条件の内容を変更した後に元の認識条件の内容に戻すことを特徴とする。

また、請求項３記載の発明に係る画像認識装置にあっては、前記認識手段は、前記各々の画像から、予め登録されている複数の認識候補のいずれかと一致する特定の認識対象を所定の認識条件に従い認識することを特徴とする。

また、請求項４記載の発明に係る画像認識装置にあっては、前記認識手段は、前記各々の画像から、予め登録されている複数人物の顔を認識候補とし、いずれかの認識候補と一致する顔を所定の認識条件に従い認識することを特徴とする。

また、請求項５記載の発明に係る画像認識装置にあっては、前記認識手段は、前記各々の画像から、予め登録されている複数の顔であり、同一人物に対する撮影状況の異なる複数の顔を認識候補とし、いずれかの認識候補と一致する顔を所定の認識条件に従い認識することを特徴とする。

また、請求項６記載の発明に係る画像認識装置にあっては、前記認識条件変更手段は、前記認識手段により特定の人物が認識されたことに応答し、複数の人物に対応した複数の認識候補の中で、この認識された人物に対応する認識候補との一致判定に用いる認識条件の内容を変更することを特徴とする。

また、請求項７記載の発明に係る画像認識装置にあっては、前記取得手段は、前記各々の画像における所定の画像部分から複数の特徴点を抽出する抽出手段と、この抽出手段により抽出された複数の特徴点について、前記所定の画像部分と前記複数の認識候補にそれぞれ対応する複数の登録画像とを比較し、前記所定の画像部分と各々の登録画像との間における一致度合を取得し、前記所定の認識条件には、前記抽出手段が各々の画像の所定の画像部分から抽出する前記複数の特徴点の数の変更が含まれ、前記認識条件変更手段は、前記認識手段により前記特定の認識対象が認識されたことに応答し前記複数の特徴点の数を減少させることを特徴とする。

また、請求項８記載の発明に係る画像認識装置にあっては、連続して入力する各々の画像に対して被写体識別を含む画像認識を繰り返し行う画像認識装置において、前記各々の画像から、複数の認識候補のいずれかと一致する特定の認識対象を所定の認識条件に従い認識する認識手段と、連続して入力するいずれかの画像において前記認識手段により特定の認識対象が認識されたことに応答し、前記所定の認識条件の内容を変更する認識条件変更手段と、を備え、前記認識手段は、前記各々の画像における所定の画像部分から複数の特徴点を抽出する抽出手段と、この抽出手段により抽出された複数の特徴点について、前記所定の画像部分と前記複数の認識候補にそれぞれ対応する複数の登録画像とを比較し、前記所定の画像部分と各々の登録画像との間における一致度合を取得する取得手段とを含み、この取得手段により取得された一致度合に基づいて前記特定の認識対象の画像認識の成否を判定し、前記所定の認識条件には、前記取得手段が前記所定の画像部分と各々の登録画像との間における一致度合を取得するとき比較対象とする登録画像、及び前記抽出手段が各々の画像の所定の画像部分から抽出する前記複数の特徴点の数が含まれ、前記認識条件変更手段は、前記認識手段により前記特定の認識対象が認識されたことに応答し、前記比較対象を、前記取得手段により取得された一致度合が所定以上であった登録画像に制限する変更を行うとともに、前記複数の特徴点の数を減少させることを特徴とする。

また、請求項９記載の発明に係る画像認識装置にあっては、前記認識手段は、前記各々の画像から、予め登録されている複数人物の顔を認識候補とし、いずれかの認識候補と一致する顔を所定の認識条件に従い認識することを特徴とする。

また、請求項１０記載の発明に係る画像認識装置にあっては、前記認識手段は、前記各々の画像から、予め登録されている複数の顔であり、同一人物に対する撮影状況の異なる複数の顔を認識候補とし、いずれかの認識候補と一致する顔を所定の認識条件に従い認識することを特徴とする。

また、請求項１１記載の発明に係る画像認識装置にあっては、前記認識手段による特定の認識対象の認識時における所定の認識条件には、前記判定手段が前記取得手段により取得された一致度合に基づいて前記特定の認識対象の画像認識の成否を判定するときの判定基準がさらに含まれ、前記認識条件変更手段は、前記認識手段により前記特定の認識対象が認識されたことに応答し前記判定基準を下げることを特徴とする。

また、請求項１２記載の発明に係る画像認識装置にあっては、前記認識手段は、連続して入力する画像から、前記複数の認識候補と同種の被写体部分に対応する特定領域を検出する検出手段をさらに備え、前記取得手段は、前記検出手段により検出された特定領域を前記所定の画像部分とし、当該画像部分と前記複数の認識候補にそれぞれ対応する複数の登録画像とを比較し、前記所定の画像部分と各々の登録画像との間における一致度合を取得することを特徴とする。

また、請求項１３記載の発明に係る画像認識装置にあっては、前記複数の認識候補にそれぞれ対応する複数の登録画像を記憶する記憶手段を備えたことを特徴とする。

また、請求項１４記載の発明に係る画像認識装置にあっては、被写体を撮像する撮像手段を備え、前記取得手段は、前記撮像手段により連続した撮像された被写体画像における所定の画像部分と、前記記憶手段に記憶されている複数の登録画像とを比較し、前記所定の画像部分と各々の登録画像との間における一致度合を取得することを特徴とする。

また、請求項１５記載の発明に係る画像認識装置にあっては、前記撮像手段により撮像された被写体画像から前記認識候補とすべき被写体部分の画像を取得する画像取得手段と、この画像取得手段により取得された画像を新たな登録画像として前記記憶手段に記憶させる登録手段とを備えたことを特徴とする。

また、請求項１６記載の発明に係る画像認識装置にあっては、前記画像取得手段により取得された画像に対して複数種類の加工を施す加工手段を備え、前記登録手段は、前記加工手段によって互いに異なる加工が施された同一の画像に基づく複数種類の画像を新たな登録画像として前記記憶手段に記憶させることを特徴とする。

また、請求項１７記載の発明に係る画像認識方法にあっては、連続して入力する各々の画像に対して被写体識別を含む画像認識を繰り返し行う画像認識装置が有するコンピュータを、前記各々の画像から、複数の認識候補のいずれかと一致する特定の認識対象を所定の認識条件に従い認識する認識手段と、連続して入力するいずれかの画像において前記認識手段により特定の認識対象が認識されたことに応答し、前記所定の認識条件の内容を変更する認識条件変更手段と、して機能させる画像認識プログラムであって、前記認識手段は、前記各々の画像における所定の画像部分と前記複数の認識候補にそれぞれ対応する複数の登録画像とを比較し、前記所定の画像部分と各々の登録画像との間における一致度合を取得する取得手段を含み、この取得手段により取得された一致度合に基づいて前記特定の認識対象の画像認識の成否を判定し、前記所定の認識条件には、前記取得手段が前記所定の画像部分と各々の登録画像との間における一致度合を取得するとき比較対象とする登録画像が含まれ、前記認識条件変更手段は、連続して入力するいずれかの画像において前記認識手段により特定の認識対象が認識されたことに応答し、前記比較対象を、前記取得手段により取得された一致度合が所定以上であった登録画像に制限する変更を行うことを特徴とする。

また、請求項１８記載の発明にあっては、連続して入力する各々の画像に対して被写体識別を含む画像認識を繰り返し行う画像認識装置が有するコンピュータを、前記各々の画像から、複数の認識候補のいずれかと一致する特定の認識対象を所定の認識条件に従い認識する認識手段と、連続して入力するいずれかの画像において前記認識手段により特定の認識対象が認識されたことに応答し、前記所定の認識条件の内容を変更する認識条件変更手段として機能させる画像認識プログラムであって、前記認識手段は、前記各々の画像における所定の画像部分から複数の特徴点を抽出する抽出手段と、この抽出手段により抽出された複数の特徴点について、前記所定の画像部分と前記複数の認識候補にそれぞれ対応する複数の登録画像とを比較し、前記所定の画像部分と各々の登録画像との間における一致度合を取得する取得手段とを含み、この取得手段により取得された一致度合に基づいて前記特定の認識対象の画像認識の成否を判定し、前記所定の認識条件には、前記取得手段が前記所定の画像部分と各々の登録画像との間における一致度合を取得するとき比較対象とする登録画像、及び前記抽出手段が各々の画像の所定の画像部分から抽出する前記複数の特徴点の数が含まれ、前記認識条件変更手段は、前記認識手段により前記特定の認識対象が認識されたことに応答し、前記比較対象を、前記取得手段により取得された一致度合が所定以上であった登録画像に制限する変更を行うとともに、前記複数の特徴点の数を減少させることを特徴とする。

本発明によれば、被写体識別を含む画像認識を繰り返して行う場合における対象物の認識精度と認識速度とを両立させることが可能となる。

以下、本発明の好ましい実施の形態を図にしたがって説明する。図１は、本発明の画像認識装置を含むデジタルカメラの概略構成を示すブロック図である。

このデジタルカメラは、撮像手段であるＣＣＤ１と、ＣＣＤ１の駆動回路やＣＣＤ１の出力信号（撮像信号）をデジタルデータに変換し、変換後のデジタルデータに種々の処理を施し、ＣＣＤ１により撮像された被写体の画像データ（ＹＵＶデータ）を生成するための種々の信号処理回路を含む画像撮影処理部２を備えている。

画像撮影処理部２で生成された画像データは制御部３へ送られ、記録モードでは最終的にファイルアクセス部４を介して画像記録部５に画像ファイルとして記録される。画像記録部５はデジタルカメラに着脱自在な各種のメモリカード等の任意の記録媒体であり、ファイルアクセス部４は、その記録媒体への画像データの入出力を行うためのインターフェース回路である。

制御部３は、主としてＣＰＵ及びその周辺回路によって構成されており、デジタルカメラの全体を制御する。また、制御部３には、画像データの圧縮伸張を行うためのＣＯＤＥＣ（coder-decoder）が含まれており、記録モードでの画像データの圧縮処理、及び記録画像の再生時における圧縮データの伸張処理も制御部３において行われる。

また、デジタルカメラはＬＣＤ表示部６、キー入力部７、画像認識処理部８、プログラムメモリ９、ＲＡＭ１０を有している。

ＬＣＤ表示部６は、再生モードにおいては画像記録部５から読み出された画像データに基づく画像を表示し、記録モードにおける撮影待機状態では、前記画像撮影処理部２により生成された画像データに基づき被写体のスルー画像を表示することによって電子ビューファインダとして機能する。また、ＬＣＤ表示部６は、ユーザーがデジタルカメラの動作内容を設定するための種々の設定画面を必要に応じて表示する。

キー入力部７は、デジタルカメラの動作モードを撮影用の記録モードと記録画像表示用の再生モードとに切り替えるモード切替キーやシャッターキー等の複数のキーにより構成されており、各キーの操作状態は制御部３によって逐次検出される。

画像認識処理部８は、ＣＣＤ１により撮像され画像撮影処理部２によって生成された被写体の画像データ（被写体画像）に対し、二値化や輪郭抽出、パターンマッチング等による画像認識処理によって、被写体画像から人物の顔部分を検出したり、検出した顔部分について被写体識別を含む顔認識を行ったりする、本発明の認識手段（取得手段、抽出手段）、検出手段である。なお、顔認識の詳細については後述する。

プログラムメモリ９は記憶データの書き換えが可能な不揮発性メモリであって、プログラムメモリ９には、図２示したように、プログラムデータ格納領域９ａと、設定データ格納領域９ｂと、顔画像格納領域９ｃとが確保されている。

前記プログラムデータ格納領域９ａには、制御部３に上述した各部を制御させるための、本発明の画像認識プログラムを含む各種のプログラムや、それに付随する各種のデータが記憶されており、本実施形態においては、制御部３が上記画像認識プログラムに従い動作することにより本発明の認識条件変更手段、画像取得手段、登録手段、加工手段として機能する。

また、設定データ格納領域９ｂには、デジタルカメラの動作内容に関する各種の設定データであって、ユーザーにより設定されたデータや自動的に設定されたデータといった適宜書き替えられるデータが記憶されている。

さらに、顔画像格納領域９ｃには、ユーザーにより登録された登録画像であって、前記画像認識処理部８が、被写体の画像データ（被写体画像）から認識すべき特定人物（認識候補）の顔の画像データ（顔画像）が記憶されている。すなわち本実施形態においてはプログラムメモリ９が本発明の記憶手段である。なお、これに限らず、例えば前記画像記録部５（メモリカード等）を本発明の記憶手段として使用するものとし、顔画像格納領域９ｃを画像記録部５に確保する構成としてもよい。

ＲＡＭ１０は、制御部３の作業用のメモリであって、前述したデジタルカメラの制御に際して生成されるデータが記録されるととともに、制御部３による画像データの圧縮伸張時における圧縮前のＹＵＶデータや、伸張後のＹＵＶデータ等も記憶される。

次に、以上の構成からなるデジタルカメラの本発明に係る動作について説明する。

（顔登録モード）
まず、デジタルカメラに記録モードの下位モードとして用意されている顔登録モードが選択されたときの動作について説明する。 図３は、顔登録モードが選択されたときの制御部３の処理内容を示すフローチャートである。

顔登録モードが選択されると、制御部３は直ちにＣＣＤ１による撮像、及びＬＣＤ表示部６におけるスルー画像の表示を開始する（ステップＳＡ１）。その後、シャッターキーの操作によるユーザーの撮影指示があるまで（ステップＳＡ２でＮＯ）、所定のフレームレートによる撮像及びスルー画像の表示（更新）を繰り返す。なお、その間には、例えばユーザーに登録したい人物の顔の撮影を促すメッセージ等をＬＣＤ表示部６に表示させる。

その後、撮影指示があったら（ステップＳＡ２でＹＥＳ）、撮影処理（ＣＣＤ１による記録用の画像の撮像動作）を行い被写体画像を取得した後（ステップＳＡ３）、画像認識処理部８に、予め用意されているパターンデータに基づいた顔認識処理を行わせ、撮影した画像内における顔部分を検出させるとともに、その顔部分を顔画像として撮影画像から切り出す（ステップＳＡ４）。

引き続き、ここで切り出した顔画像に対して人物ＩＤを付与する（ステップＳＡ５）。次に、切り出した顔画像のホワイトバランスを調整することによって、切り出した顔画像を屋内で撮影された状態の画像に加工し、加工後の新たな顔画像を、前述したプログラムメモリ９の顔画像格納領域９ｃ（以下、顔データベースと呼ぶ）に、前記人物ＩＤと関連付けて記録（登録）する（ステップＳＡ６）。

また、ステップＳＡ４で切り出した顔画像のコントラストを調整することによって、切り出した顔画像を逆光で撮影した状態の画像に加工し、加工後の新たな顔画像を顔データベースに前記人物ＩＤと関連付けて記録（登録）する（ステップＳＡ７）。さらに、ステップＳＡ４で切り出した顔画像に、左右方向に陰影付けるためのコントラスト調整や輝度調整を行うことによって、切り出した顔画像を、光源が左側、及び右側に存在する環境下で撮影された状態の画像に加工し、加工後の各々の新たな顔画像を顔データベースに前記人物ＩＤと関連付けて記録（登録）する（ステップＳＡ８）。

つまり、同一人物の顔画像に異なる加工処理を施して４種類の新たな顔画像を生成し、各々の画像を、当該人物を示す人物ＩＤと関連付けて顔データベースに記録する。これにより、顔登録モードによる１回の撮影動作に伴う処理を終了する。

なお、この後、ユーザーによって顔登録モードが他のモードに変更されるまでは前述した処理を繰り返し行い、その際には、撮影に伴い新たな顔画像が切り出される毎に新たな人物ＩＤを設定する。なお、前述した顔画像と人物ＩＤとの関連付けは、例えば前記顔データベース内に顔画像のデータ名と人物ＩＤとの対応関係を示すテーブルを構築することにより行う。

したがって、ユーザーは顔登録モードを用いることにより、所望する人物の顔を任意の撮影環境下で１回撮影するだけで、その人物について、異なる撮影環境下で複数回撮影した場合と同様の複数種類の顔画像を簡単に記録することができる。

なお、本実施形態においては、撮影画像に対して顔検出を行い、それにより撮影画像において顔画像として記憶すべき顔部分を自動的に特定するようにしたが、撮影画像をＬＣＤ表示部６にいったん表示し、その状態で、顔画像として記憶すべき顔部分（顔領域）をユーザーに所定のキー操作により手動で指定させるようにしてもよい。

また、本実施形態のように顔画像として記憶すべき顔部分を撮影画像において自動的に特定する場合には、撮影画像から人物の顔部分が複数検出されたときには、検出された全ての顔部分を対象として前述した４種類の新たな顔画像を生成しそれらを記憶するようにしてもよいし、検出された複数の顔部分から所望するものをユーザーに指定させ、指定された顔部分のみを対象として前述した４種類の新たな顔画像を生成しそれらを記憶するようにしてもよい。

また、本実施形態では、撮影画像において検出した顔部分に擬似的な撮影環境に対応する加工処理を施し、４種類の新たな顔画像を生成しそれらを記憶するようにしたが、新たに生成する顔画像の数や、その種類（加工処理内容）は任意である。

一方、本実施形態のデジタルカメラにおいては、上述した顔登録モードを用いる以外の方法によってもユーザーは顔データベース（顔画像格納領域９ｃ）に顔画像を記憶させることが可能である。図示しないが、顔登録モードを用いる以外の方法について説明すると、前記デジタルカメラにおいては、通常の記録モードで撮影直後に自動再生した画像や、再生モードで指定された記録画像をＬＣＤ表示部６に表示した状態で、ユーザーにより人物登録を指示するキー操作があったら、表示中の画像内における人物の顔部分をユーザーに所定のキー操作によって指定させ、指定された顔部分の画像データを切り出し、それを顔画像として顔データベースに記憶する。

また、上記顔画像の記憶に際しては、切り出した顔画像を、新たに付与する人物ＩＤに関連付けて記録するか、又は既存の人物ＩＤに関連づけて記録するかをユーザーに選択させる。そして、前者の場合には、切り出した顔画像を新たに付与する人物ＩＤに関連付けて顔データベースに記憶し、後者の場合には、既存の人物ＩＤ毎に、それと関連付けて記憶してある１又は複数の顔画像を画面表示させて、任意の人物ＩＤ（登録済の人物）をいったん指定させた後、切り出した顔画像を指定された人物ＩＤに関連付けて顔データベースに記憶する。

（顔認証付き撮影モード）
次に、前記デジタルカメラにおける顔認証付き撮影モードでの動作について説明する。顔認証付き撮影モードは、記録モードの下位モードとして予め用意されているモードであって、ユーザーが、予め登録されている人物のうちで所望する１又複数の特定人物を主要被写体として撮影を行う場合に使用される撮影モードである。

なお、以下の説明においては、プログラムメモリ９の顔画像格納領域９ｃに複数人数分の顔画像が記憶されており、それらの顔画像には、同一人物についての複数種の顔画像、例えば前述した顔登録モードを用いて取得された撮影環境が異なる４種類の顔画像や、顔登録モードを用いずに取得された表情の異なる顔画像（すまし顔、泣き顔、怒り顔等の顔画像）が含まれているものとする。

図４及び図５は、前記顔認証付き撮影モードが選択されたときのデジタルカメラの動作を示すフローチャートである。

図４に示したように、デジタルカメラにおいては顔認証付き撮影モードが設定されると、制御部３がＬＣＤ表示部６に所定の設定画面を表示させることにより、撮影対象とする１又は複数の特定人物と、顔認識条件の変更の可否についての設定を要求し、ユーザーによって設定された内容をＲＡＭ１０に記憶する（ステップＳＢ１）。

上記の顔認識条件は画像認識処理部８における顔認識動作の内容を規定するものであり、変更の可否が設定可能な具体的な顔認識条件は、後述する画像内の顔部分において抽出対象とする特徴点の数と、比較対象とする登録顔（顔画像）の候補数と、判定基準（一致度）である。また、ステップＳＢ１における特定人物の設定に際しては、登録されている人物ＩＤ毎に、それと関連付けて記憶してある１又は複数の顔画像を画面表示し、ユーザーに任意の人物を指定させて、その人物ＩＤを記憶する。

次に、制御部３が、前回の撮像から所定時間（例えば１０秒）以内か否かを確認する（ステップＳＢ２）。顔認証付き撮影モードによる動作開始当初において係る判別の結果はＮＯであるため、前述した顔認識条件の各々を初期化する（ステップＳＢ３）。すなわち特徴点の数や候補数、及び比較対象とする登録顔（顔画像）の数をそれぞれ「最大」に設定し、判定基準を「７０％」に設定する。つまり指定された特定人物の顔を認識する際の認識精度を最も高くする設定を行う。

その後、シャッターキーによる撮影指示があった否かを確認し、撮影指示があるまでの間は（ステップＳＢ４でＮＯ）、撮像待機状態を維持する。そして、撮影指示があったら（ステップＳＢ４でＹＥＳ）、その時点でＣＣＤ１による撮像、及び撮像した被写体の画像データをＲＡＭ１０へ記憶する撮像処理を行う（ステップＳＢ５）。

次に、画像認識処理部８によって、以下の画像認識処理を行う。まず、撮像した画像データにおける顔部分をパターン認識により検出する顔検出を行い（ステップＳＢ６）、検出した顔部分から、設定されている数の特徴点を抽出する（ステップＳＢ７）。また、前記顔データベースに登録されている顔画像の中から、前回の一致度が大きかった順に候補数分の顔画像を選択する（ステップＳＢ８）。なお、顔認証付き撮影モードによる動作開始当初においては、上記ステップＳＢ７で抽出する特徴点の数は「最大」であり、また、ステップＳＢ８で選択する顔画像の候補数も「最大」、つまり登録されている全ての顔画像が候補となる。

次に、上記のように検出した顔部分から抽出した特徴点に基づいて、選択した各々の顔画像（全顔画像）について検出した顔部分との一致度を演算する（ステップＳＢ９）。なお、顔画像毎の演算結果はＲＡＭ１０へ一時的に記憶する。

引き続き、演算した一致度が判定基準（７０％）以上の顔画像があるか否かを確認し、判定基準以上の顔画像がないときには（ステップＳＢ１０でＮＯ）、図５に示したように、今回の撮影指示に応答した撮影の中止を報知し（ステップＳＢ１１）、ステップＳＢ２へ戻る。なお、撮影中止の報知は、例えばＬＣＤ表示部６に、撮影中止をユーザーに知らせる所定のメッセージを表示することにより行う。

一方、前述した一致度が判定基準（７０％）以上の顔画像があったときには（ステップＳＢ１０でＹＥＳ）、図５に示したように、一致度が判定基準以上である顔画像の中で一致度が最も高い顔画像に対応する人物が、顔部分を検出した人物（画角内の人物）であると判定し、一致度が最も高い顔画像が関連付けられている前述した人物ＩＤを特定する（ステップＳＢ１２）。

さらに、特定した人物ＩＤがステップＳＢ１で記憶された人物ＩＤであるか否かを確認することによって、判定した人物が撮影対象であるか否かを確認し、つまり顔認証を行い、撮影対象でなければ（ステップＳＢ１３でＮＯ）、今回の撮影指示に応答した撮影の中止を報知し（ステップＳＢ１１）、ステップＳＢ２へ戻る。つまり例えば撮影対象として指定されている人物が画角内に存在しないときや、画角内に存在していたとしても横を向いてしまっている様なときには、撮影指示があったとしても、それを自動的に中止することにより無駄な画像の記録を回避する。

一方、判定した画角内の人物が撮影対象であれば（ステップＳＢ１３でＹＥＳ）、実際の撮影処理、すなわちＣＣＤ１による記録に向けた撮像処理、撮像した画像データの圧縮、及び圧縮データの画像記録部５への記録を行う（ステップＳＢ１４）。

そして、撮影処理を行った後には、引き続き、ステップＳＢ１においてユーザーにより顔認識条件における「特徴点の数」の変更が許可されていれば、それを４０％の数に変更し（ステップＳＢ１５でＹＥＳ、ステップＳＢ１６）、また、顔認識条件における「登録顔候補数」の変更が許可されていれば、それを前記顔データベースに登録されている全顔画像の１０％の数に変更し（ステップＳＢ１７でＹＥＳ、ステップＳＢ１８）、さらに、顔認識条件における「判定基準の一致度」の変更が許可されていれば、それを５０％に変更する（ステップＳＢ１９でＹＥＳ、ステップＳＢ２０）。つまり指定された人物の顔を認識する際の１回の認識処理における認識処理の工数を減らして認識精度を下げる設定を行う（ここでは、２回目以降の認識処理を対象としているので、１回の認識処理における認識精度を下げても、指定された人物の顔を認識する際の認識精度が下がることは無い）。しかる後、ステップＳＢ２へ戻る。

その後、ユーザーによりいずれかの顔認識条件の変更が許可されている状態においては、前回の撮影から所定時間内に、つまり指定された人物が認識できたときから所定時間内に、再びシャッターキーによる撮影指示があれば（ステップＳＢ２，ＳＢ４が共にＹＥＳ）、新たな撮像動作によって画像を取得し、取得した画像に対し、変更後の低い認識精度によって指定された人物を認識する処理を行う（ステップＳＢ５〜ステップＳＢ１１）。そして、指定されている人物が認識できた場合にのみ実際の撮影処理（画像記録部５への記録を伴う撮影処理）を行う（ステップＳＢ１３でＹＥＳ、ステップＳＢ１４）。

これに対して、ユーザーによりいずれかの顔認識条件の変更が許可されている状態であっても、再びシャッターキーによる撮影指示がある以前に、前回の撮影から所定時間を経過した場合においては（ステップＳＢ２でＮＯ）、その時点でいったん顔認識条件の初期化を行い認識精度を最も高い状態に戻す（ステップＳＢ３）。

その後、シャッターキーによる撮影指示があれば（ステップＳＢ２，ＳＢ４が共にＹＥＳ）、新たな撮像動作によって画像を取得し、取得した画像に対し、最も高い認識精度によって指定された人物を認識する処理を行う（ステップＳＢ５〜ステップＳＢ１１）。そして、特定人物が認識できた場合にのみ実際の撮影処理を行う（ステップＳＢ１３でＹＥＳ、ステップＳＢ１４）。以後、デジタルカメラは、顔認証付き撮影モードが設定されている間、上述した処理を繰り返し行う。

以上のように、顔認証付き撮影モードにおいては、シャッターキーによる撮影指示に応答していったん顔認証のために被写体を撮像し、取得した画像において指定された人物が認識できた場合にのみ実際の撮影を行うことにより無駄な画像の記録を回避する。その際、前回の撮影から所定時間内であって、指定された人物を前回認識できた時点から所定時間内に撮影指示が再びあった場合には、顔認識条件を変更して認識精度を下げた状態で顔認識（顔認証）を行うようにしたことから、前回よりも顔認証を高速で行うことができる。しかも、指定された人物が直前の顔認証時において一度認識できており、直前の撮影からの経過時間が短いので、今回の撮影でもまだ同じ人物が撮影フレーム内に存在する可能性が高く、実質的には１回の認識処理における認識精度を下げない（顔認識条件を変更しない）場合と同様の認識精度を確保することができる。つまり被写体識別を含む画像認識を繰り返して行う場合における対象物の認識精度と認識速度とを両立させることができる。

ここで、本実施形態においては、画像認識処理部８における顔認識動作の内容を規定する顔認識条件が、画像内の顔部分において抽出対象とする特徴点の数と、比較対象とする登録顔（顔画像）の候補数と、判定基準（一致度）であって、ユーザーに各々の顔認識条件の変更の可否を個別に設定させるようにしたが、各々の顔認識条件の変更の可否を一括して設定させるようにしてもよし、必要に応じた顔認識条件の変更を無条件に行う構成としてもよい。また、必要に応じて変更する顔認識条件を、例えば前記特徴点の数だけとしても構わない。ただし、顔認識条件の変更により認識速度を向上させるためには、必要に応じて変更する顔認識条件を複数とすることが好ましい。

また、本実施形態においては、ユーザーによる撮影指示に応答した実際の撮影を行う直前に、予め指定された人物の顔認識を行う顔認証付き撮影モードにおいて、上記顔認識を連続して行う場合における指定された人物の顔の認識精度と、その際の認識速度とを両立させるものについて説明したが、本発明は、以下のような場合にも適用することができる。

例えば前記デジタルカメラに、予め登録されている人物のうちで指定された１又複数の人物を主要被写体とする撮影動作（画像記録部５への記録を伴わない撮影処理）を、比較的短い時間間隔で自動的に連続して行わせるとともに、その際、各回の撮影動作に先立ち画角内における人物の顔認識を繰り返し行わせ、指定された１又複数の人物の顔が認識できた場合にのみ実際の撮影動作（画像記録部５への記録を伴う撮影処理）を行わせる場合にも適用することができる。

なお、その場合における具体的な動作は、例えば前述した図４及び図５に示した一連の処理において、図４のステップＳＢ４，ＳＢ１２の処理を廃止するとともに、ステップＳＢ１の直後に、ユーザーによる撮影開始指示の有無を確認するステップを追加し、撮影開始指示を待ってからステップＳＢ２以降の処理を行うものとすればよい。

また、本発明は上述したような撮影の実施の可否を判断するための顔認識に限らず、他の目的で行う顔認識を連続して行う場合にも適用することができる。例えば、所定のフレームレートで被写体画像（スルー画像）を画面表示している記録モードにおける撮影待機状態において、予め登録されている人物のうちで指定された１又複数の人物の顔にフォーカス位置を合わせる等の目的でフレーム毎に顔認識を繰り返す場合にも適用することができる。

その場合においても、指定された１又複数の人物の顔がいったん認識できたら、顔認識条件を変更して次回以降のフレームに対する顔認識精度を下げることにより、実質的な認識精度を確保したままで上記顔の認識速度を向上させることができる。つまり、撮影および認識処理を比較的短い時間間隔で連続して行っている場合には、カメラや人物の移動があるとしても、ある撮影タイミングで認識された人物は次の撮影タイミングでも撮影フレーム内の少し違う位置に存在する可能性が高い。そのため、カメラや人物の移動に伴って顔の向きが変化し、登録されている正面の顔とのずれが生じたことによって通常の認識精度では同じ人物として認識できないような場合でも、認識精度を下げることにより同じ人物として認識される可能性は高くなる。しかも、この場合には、同じ人物が撮影フレーム内に存在する可能性が高いので、認識精度を下げたとしても他の人物と誤認識される可能性は低くなる。なお、この場合、それまで認識できていた上記顔が任意の時点で認識できなくなったら、その時点で顔認識条件を変更して次回以降のフレームに対する顔認識精度を上げる（元に戻す）ようにしてもよいが、一時的に顔の向きが登録されている顔の向きから大きく変化したり、撮影フレーム内から外れて認識できなくなった場合でも、直ぐに元の向きに戻ったり、撮影フレーム内に戻る可能性が高いので、所定時間以内であれば認識精度を下げたままにしておいてもよい。

また、本実施形態では、登録する顔の向きを正面だけにすることによって正面の顔を選択的に撮影できるようにしたが、登録する顔の向きを正面だけではなく、右斜め３０°などの複数方向から撮影した顔を登録しておくようにすれば、様々な方向からの顔を含めて指定した人物を選択的に撮影することが可能となり、この場合において本実施形態のように２回目以降の認識率を下げる処理を行えば、通常の認識率では正面〜右斜め１０°の範囲と右斜め２０°〜３０°の範囲にある顔は認識できるが、右斜め１０°〜２０°の範囲にある顔を認識できないような場合でも、認識率を下げた状態では、右斜め１０°〜２０°の範囲を含むより広い範囲の顔を認識できるようになり、しかも、他の人物と認識してしまうような誤認識の可能性は低く抑えることができる。

また、本実施形態においては、前回の認識処理において特定の人物が認識された場合には、次の認識における認識精度を下げるようにしているが、この場合、特定された人物の人物ＩＤに対応する複数の登録顔候補数の全てに対して認識精度を下げるようにすれば、様々な撮影状況下で特定の人物を選択的に撮影する場合に効果的であるが、特に人物ＩＤによって同じ人物に対応する複数の登録顔候補がグループ分けされていないような場合には、この複数の登録顔候補数の中で前回の一致度が最も高かった登録顔との一致度判定のときだけ認識精度を下げるようにしてもよいし、特定された人物以外の他の人物を含めて全ての人物の登録顔に対して認識精度を下げるようにしてもよい。

また、本実施形態では、予め登録した個人の顔を認識の対象とし、類似する複数の人物を識別（被写体識別）するような場合に好適であるが、特定の個人の顔では無く、人間一般の顔を認識の対象とする場合に適用してもよい。

また、本発明の実施形態として、本発明の認識手段であって、顔検出や被写体識別を含む顔認識を行ったりする画像認識処理部８を備えたデジタルカメラを示したが、画像認識処理部８を廃止するとともに、前述した制御部３に所定の画像認識プログラムに従った処理を行わせることにより、制御部３を本発明の認識手段として機能させる構成としてもよい。

また、本発明を一般的な構成を有するデジタルカメラに適用する場合について説明したが、これに限らず、本発明は携帯電話端末等の他の情報機器に内蔵されたデジタルカメラにも適用可能であるとともに、被写体識別を含む画像認識を行うものであれば任意の画像認識装置にも適用可能である。

さらに、以上の説明においては、被写体識別を含む画像認識による対象物が人物の顔である場合について説明したが、これに限らず本発明は、人物の顔以外のものを対象物として個体識別を含む画像認識を繰り返して行う場合においても有効である。

本発明に係るデジタルカメラのブロック図である。 プログラムメモリのメモリ領域を示す概念図である。 顔登録モードでの動作を示すフローチャートである。 顔認証付き撮影モードでの動作を示すフローチャートである。 図４に続くフローチャートである。

符号の説明

１ ＣＣＤ
２ 画像撮影処理部
３ 制御部
４ ファイルアクセス部
５ 画像記録部
６ ＬＣＤ表示部
７ キー入力部
８ 画像認識処理部
９ プログラムメモリ
９ａ プログラムデータ格納領域
９ｂ 設定データ格納領域
９ｃ 顔画像格納領域
１０ ＲＡＭ

Claims (18)

1. 連続して入力する各々の画像に対して被写体識別を含む画像認識を繰り返し行う画像認識装置において、
   前記各々の画像から、複数の認識候補のいずれかと一致する特定の認識対象を所定の認識条件に従い認識する認識手段と、
   連続して入力するいずれかの画像において前記認識手段により特定の認識対象が認識されたことに応答し、前記所定の認識条件の内容を変更する認識条件変更手段と、を備え、
   前記認識手段は、前記各々の画像における所定の画像部分と前記複数の認識候補にそれぞれ対応する複数の登録画像とを比較し、前記所定の画像部分と各々の登録画像との間における一致度合を取得する取得手段を含み、この取得手段により取得された一致度合に基づいて前記特定の認識対象の画像認識の成否を判定し、
   前記所定の認識条件には、前記取得手段が前記所定の画像部分と各々の登録画像との間における一致度合を取得するとき比較対象とする登録画像が含まれ、
   前記認識条件変更手段は、連続して入力するいずれかの画像において前記認識手段により特定の認識対象が認識されたことに応答し、前記比較対象を、前記取得手段により取得された一致度合が所定以上であった登録画像に制限する変更を行うことを特徴とする画像認識装置。
2. 前記認識条件変更手段は、前記認識手段により特定の認識対象が認識されたことに応答して所定時間だけ認識条件の内容を変更した後に元の認識条件の内容に戻すことを特徴とする請求項１記載の画像認識装置。
3. 前記認識手段は、前記各々の画像から、予め登録されている複数の認識候補のいずれかと一致する特定の認識対象を所定の認識条件に従い認識することを特徴とする請求項１又は２記載の画像認識装置。
4. 前記認識手段は、前記各々の画像から、予め登録されている複数人物の顔を認識候補とし、いずれかの認識候補と一致する顔を所定の認識条件に従い認識することを特徴とする請求項３記載の画像認識装置。
5. 前記認識手段は、前記各々の画像から、予め登録されている複数の顔であり、同一人物に対する撮影状況の異なる複数の顔を認識候補とし、いずれかの認識候補と一致する顔を所定の認識条件に従い認識することを特徴とする請求項３記載の画像認識装置。
6. 前記認識条件変更手段は、前記認識手段により特定の人物が認識されたことに応答し、複数の人物に対応した複数の認識候補の中で、この認識された人物に対応する認識候補との一致判定に用いる認識条件の内容を変更することを特徴とする請求項５記載の画像認識装置。
7. 前記取得手段は、
   前記各々の画像における所定の画像部分から複数の特徴点を抽出する抽出手段と、
   この抽出手段により抽出された複数の特徴点について、前記所定の画像部分と前記複数の認識候補にそれぞれ対応する複数の登録画像とを比較し、前記所定の画像部分と各々の登録画像との間における一致度合を取得し、
   前記所定の認識条件には、前記抽出手段が各々の画像の所定の画像部分から抽出する前記複数の特徴点の数の変更が含まれ、
   前記認識条件変更手段は、前記認識手段により前記特定の認識対象が認識されたことに応答し前記複数の特徴点の数を減少させることを特徴とする請求項１乃至６いずれか記載の画像認識装置。
8. 連続して入力する各々の画像に対して被写体識別を含む画像認識を繰り返し行う画像認識装置において、
   前記各々の画像から、複数の認識候補のいずれかと一致する特定の認識対象を所定の認識条件に従い認識する認識手段と、
   連続して入力するいずれかの画像において前記認識手段により特定の認識対象が認識されたことに応答し、前記所定の認識条件の内容を変更する認識条件変更手段と、を備え、
   前記認識手段は、
   前記各々の画像における所定の画像部分から複数の特徴点を抽出する抽出手段と、
   この抽出手段により抽出された複数の特徴点について、前記所定の画像部分と前記複数の認識候補にそれぞれ対応する複数の登録画像とを比較し、前記所定の画像部分と各々の登録画像との間における一致度合を取得する取得手段と
   を含み、この取得手段により取得された一致度合に基づいて前記特定の認識対象の画像認識の成否を判定し、
   前記所定の認識条件には、前記取得手段が前記所定の画像部分と各々の登録画像との間における一致度合を取得するとき比較対象とする登録画像、及び前記抽出手段が各々の画像の所定の画像部分から抽出する前記複数の特徴点の数が含まれ、
   前記認識条件変更手段は、前記認識手段により前記特定の認識対象が認識されたことに応答し、前記比較対象を、前記取得手段により取得された一致度合が所定以上であった登録画像に制限する変更を行うとともに、前記複数の特徴点の数を減少させることを特徴とする画像認識装置。
9. 前記認識手段は、前記各々の画像から、予め登録されている複数人物の顔を認識候補とし、いずれかの認識候補と一致する顔を所定の認識条件に従い認識することを特徴とする請求項８記載の画像認識装置。
10. 前記認識手段は、前記各々の画像から、予め登録されている複数の顔であり、同一人物に対する撮影状況の異なる複数の顔を認識候補とし、いずれかの認識候補と一致する顔を所定の認識条件に従い認識することを特徴とする請求項８記載の画像認識装置。
11. 前記認識手段による特定の認識対象の認識時における所定の認識条件には、前記判定手段が前記取得手段により取得された一致度合に基づいて前記特定の認識対象の画像認識の成否を判定するときの判定基準がさらに含まれ、
    前記認識条件変更手段は、前記認識手段により前記特定の認識対象が認識されたことに応答し前記判定基準を下げる
    ことを特徴とする請求項８乃至１０いずれか記載の画像認識装置。
12. 前記認識手段は、連続して入力する画像から、前記複数の認識候補と同種の被写体部分に対応する特定領域を検出する検出手段をさらに備え、
    前記取得手段は、前記検出手段により検出された特定領域を前記所定の画像部分とし、当該画像部分と前記複数の認識候補にそれぞれ対応する複数の登録画像とを比較し、前記所定の画像部分と各々の登録画像との間における一致度合を取得する
    ことを特徴とする請求項８乃至１１いずれか記載の画像認識装置。
13. 前記複数の認識候補にそれぞれ対応する複数の登録画像を記憶する記憶手段を備えたことを特徴とする請求項８乃至１２いずれか記載の画像認識装置。
14. 被写体を撮像する撮像手段を備え、
    前記取得手段は、前記撮像手段により連続した撮像された被写体画像における所定の画像部分と、前記記憶手段に記憶されている複数の登録画像とを比較し、前記所定の画像部分と各々の登録画像との間における一致度合を取得する
    ことを特徴とする請求項１３記載の画像認識装置。
15. 前記撮像手段により撮像された被写体画像から前記認識候補とすべき被写体部分の画像を取得する画像取得手段と、
    この画像取得手段により取得された画像を新たな登録画像として前記記憶手段に記憶させる登録手段と
    を備えたことを特徴とする請求項１４記載の画像認識装置。
16. 前記画像取得手段により取得された画像に対して複数種類の加工を施す加工手段を備え、
    前記登録手段は、前記加工手段によって互いに異なる加工が施された同一の画像に基づく複数種類の画像を新たな登録画像として前記記憶手段に記憶させる
    ことを特徴とする請求項１５記載の画像認識装置。
17. 連続して入力する各々の画像に対して被写体識別を含む画像認識を繰り返し行う画像認識装置が有するコンピュータを、
    前記各々の画像から、複数の認識候補のいずれかと一致する特定の認識対象を所定の認識条件に従い認識する認識手段と、
    連続して入力するいずれかの画像において前記認識手段により特定の認識対象が認識されたことに応答し、前記所定の認識条件の内容を変更する認識条件変更手段と、
    して機能させる画像認識プログラムであって、
    前記認識手段は、前記各々の画像における所定の画像部分と前記複数の認識候補にそれぞれ対応する複数の登録画像とを比較し、前記所定の画像部分と各々の登録画像との間における一致度合を取得する取得手段を含み、この取得手段により取得された一致度合に基づいて前記特定の認識対象の画像認識の成否を判定し、
    前記所定の認識条件には、前記取得手段が前記所定の画像部分と各々の登録画像との間における一致度合を取得するとき比較対象とする登録画像が含まれ、
    前記認識条件変更手段は、連続して入力するいずれかの画像において前記認識手段により特定の認識対象が認識されたことに応答し、前記比較対象を、前記取得手段により取得された一致度合が所定以上であった登録画像に制限する変更を行うことを特徴とする画像認識プログラム。
18. 連続して入力する各々の画像に対して被写体識別を含む画像認識を繰り返し行う画像認識装置が有するコンピュータを、
    前記各々の画像から、複数の認識候補のいずれかと一致する特定の認識対象を所定の認識条件に従い認識する認識手段と、
    連続して入力するいずれかの画像において前記認識手段により特定の認識対象が認識されたことに応答し、前記所定の認識条件の内容を変更する認識条件変更手段と
    して機能させる画像認識プログラムであって、
    前記認識手段は、
    前記各々の画像における所定の画像部分から複数の特徴点を抽出する抽出手段と、
    この抽出手段により抽出された複数の特徴点について、前記所定の画像部分と前記複数の認識候補にそれぞれ対応する複数の登録画像とを比較し、前記所定の画像部分と各々の登録画像との間における一致度合を取得する取得手段と
    を含み、この取得手段により取得された一致度合に基づいて前記特定の認識対象の画像認識の成否を判定し、
    前記所定の認識条件には、前記取得手段が前記所定の画像部分と各々の登録画像との間における一致度合を取得するとき比較対象とする登録画像、及び前記抽出手段が各々の画像の所定の画像部分から抽出する前記複数の特徴点の数が含まれ、
    前記認識条件変更手段は、前記認識手段により前記特定の認識対象が認識されたことに応答し、前記比較対象を、前記取得手段により取得された一致度合が所定以上であった登録画像に制限する変更を行うとともに、前記複数の特徴点の数を減少させることを特徴とする画像認識プログラム。

Images