JP6025557B2 - 画像認識装置、その制御方法及びプログラム - Google Patents

Description

本発明は、画像に含まれる被写体を認識する画像認識装置、その制御方法及びプログラムに関する。

近年、画像中に含まれる特定の被写体を認識する被写体認識機能を備える撮像装置が提案されている。被写体認識機能を有することにより、認識された被写体に対してフォーカスや露出を優先的に制御することが可能となる。被写体認識機能を備える撮像装置は、撮影して得られた画像から、被写体が含まれる被写体領域を検出し、検出した被写体領域の画像から、その被写体領域を被認識対象として識別するための特徴情報を抽出する。そして、抽出した特徴情報と予め辞書データとして登録された登録済被写体の特徴情報とを比較し、この比較により得られる類似度に基づき、被認識対象の被写体がどの登録済被写体であるか、又は該当する登録済被写体がいないかの認識を行う。また、被写体領域として人物の顔を検出して、検出した顔の特徴情報を抽出し、その顔が誰の顔であるかを判定することで個人認識を行うシステムが開示されている（例えば、特許文献１参照）。なお、本明細書では検出された顔等の画像について、それが誰の（どの）ものであるかを識別する処理を認識又は認証と称する。

特開２００３−１８７３５２号公報

前述したような被写体認識の精度は、例えば被写体領域として顔を検出する場合には、顔領域の表情や向きといった状態によって影響を受ける。そのため、被認識対象の顔領域と辞書データとして登録されている顔領域の状態が異なると、個人認識の精度が劣化してしまう場合がある。したがって、被認識対象の顔領域の状態によっては、正確な個人認識の結果が期待できないことがある。ここで、撮像装置が、逐次撮像した画像を時系列的に供給する撮像手段を有していれば、被写体追跡技術を用いて、被認識対象がどの登録済被写体であるかが確定した状態を画像間で引き継ぐことにより、安定に認識確定状態を維持することが可能となる。しかしながら、被写体追跡において追跡の失敗が発生した場合には、異なる被写体に認識確定状態が引き継がれてしまい、その異なる被写体が登録済被写体であると認識された状態になる。

本発明は、前述した課題に鑑みてなされたものであり、撮影された被写体の認識確定状態を被写体追跡により画像間で引き継ぐことで認識確定状態を安定化するとともに、異なる被写体に認識確定状態が引き継がれることを防止することを目的とする。

本発明に係る画像認識装置は、時系列に供給される画像から特定の被写体を認識する画像認識装置であって、前記特定の被写体に関する特徴情報を記憶する記憶部と、供給される前記画像から被写体領域を検出する被写体検出手段と、前記被写体検出手段により検出された前記被写体領域の画像から特徴情報を抽出し、前記記憶部に記憶されている前記特定の被写体の特徴情報と比較して類似度を算出し、算出した前記類似度に基づいて被写体認識を行う被写体認識手段と、前記被写体検出手段により検出された前記被写体領域に含まれる被写体を時系列に供給される画像において追跡する被写体追跡手段と、前記被写体追跡手段による被写体追跡の信頼性を判定する信頼性判定手段とを有し、前記被写体認識手段により算出した前記類似度が所定の閾値以上の場合には、前記被写体領域に含まれる被写体を前記記憶部に記憶されている前記特定の被写体であると判定して認識確定状態とし、前記認識確定状態を前記被写体追跡手段による被写体追跡によって時系列に供給される画像間で引き継ぎ、前記被写体追跡の信頼性が低く、かつ前記被写体認識手段により算出した前記類似度が所定の閾値未満の場合には、引き継がれている前記認識確定状態を、前記被写体領域に含まれる被写体が前記特定の被写体であると判定されていない認識未確定状態にすることを特徴とする。

本発明によれば、被写体の認識確定状態を被写体追跡によって画像間で引き継ぎ認識確定状態を安定化するとともに、異なる被写体に認識確定状態が引き継がれてしまうことを防止することができる。

本発明の実施形態に係る撮像装置の構成例を示す図である。 本実施形態における被写体認識の状態遷移を示す図である。 本実施形態に係る撮像装置の処理の一例を示すフローチャートである。 本実施形態における被写体認識の処理を示すフローチャートである。 本実施形態における被写体認識の処理結果の例を示す図である。 本発明の実施形態に係る画像認識装置を実現可能なコンピュータ機能を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態に係る画像認識装置を有する撮像装置１００の概略構成例を示すブロック図である。撮像装置１００は、撮影して得られた画像から被写体領域として特定の部位が含まれる領域を検出し、検出した被写体領域の画像の特徴情報を抽出して、特徴情報を基に被写体の認識を行う機能を有する。本実施形態では、撮影して得られた画像から被写体領域として人物の顔を検出し、検出した顔の特徴情報を抽出して、その顔が誰の顔であるかを識別する個人認識を行う機能を有する撮像装置１００を例として示す。

撮像装置１００において、被写体像を表す光は、撮像レンズを含む撮像光学系１０１によって集光され、撮像素子１０２に入射する。撮像素子１０２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。撮像素子１０２は、光電変換素子をそれぞれ有する複数の画素を有し、入射する光の強度に応じた電気信号を画素単位で出力する。つまり、撮像素子１０２から出力される電気信号は、撮像素子１０２が入射される被写体像を表す光を光電変換したものであり、撮像素子１０２で撮像された被写体像を含む画像を示すアナログの画像信号である。

アナログ信号処理部１０３は、撮像素子１０２から出力された画像信号に対して相関二重サンプリング（ＣＤＳ）等のアナログ信号処理を施す。Ａ／Ｄ（アナログ／デジタル）変換部１０４は、アナログ信号処理部１０３から出力されたアナログの画像信号をデジタルデータの形式に変換する。Ａ／Ｄ変換部１０４によって変換されたデジタル形式の画像信号は、撮影制御部１０５及び画像処理部１０６に入力される。

画像処理部１０６は、入力されたデジタル形式の画像信号に対して、ガンマ補正やホワイトバランス処理等の画像処理を施す。なお、画像処理部１０６は、通常の画像処理に加え、後述する被写体検出部１０９や被写体認識部１１２から供給される画像中の特定の被写体領域に関する情報を用いた画像処理を行う機能を有する。

表示部１０７は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（electroluminescence）ディスプレイであり、画像処理部１０６から供給される画像信号に基づいて画像を表示する。撮像装置１００は、撮像素子１０２で時系列的に逐次撮像した画像を表示部１０７に表示させることで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、画像処理部１０６から出力された画像信号は、記録媒体１０８に記録可能である。記録媒体１０８は、例えば撮像装置１００に着脱可能なメモリカードである。なお、画像信号の記録先は、撮像装置１００に内蔵されたメモリであっても良いし、撮像装置１００と通信可能に接続された外部装置であっても良い。

被写体検出部１０９は、画像処理部１０６から画像信号が供給され、画像中の目的とする被写体を検出して被写体の数及び被写体領域を特定する。前述したように、本実施形態において目的とする被写体は人物の顔であり、その検出方法としては公知の顔検出方法を適用すれば良い。顔検出に係る公知技術には、例えば顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法やニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。また、顔検出では、検出精度を向上させるために複数の顔検出方法を組み合わせて顔検出を行うのが一般的である。例えば、特開２００２−２５１３８０号公報に記載のようにウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。被写体検出部１０９により出力される検出データとしては、例えば検出した被写体のそれぞれについての位置、大きさ、傾き、検出結果の信頼度等がある。なお、被写体検出部１０９における顔検出において、正面顔や横顔などの顔の向きに応じた複数の識別器を用いて検出を行う場合には、検出に用いた識別器を判別することにより、顔の向きを検出データとして出力することが可能となる。

動画のような複数のフレームを含む画像において、ある一定周期のフレーム毎に被写体検出部１０９により目的とする被写体の検出処理が行われる。被写体追跡部１１０は、あるフレームで検出された被写体領域と、別のフレームで検出された、どの被写体領域が同一の被写体の領域であるかを判定することによって、画像に含まれる被写体を追跡する。例えば、被写体追跡部１１０は、時系列的に順次供給されるフレームの各画像データから検出された被写体において、それぞれの大きさと位置とが類似するものを同一の被写体であるとみなす。撮像装置１００は、被写体追跡部１１０により被写体の追跡を行うことで、後述する被写体認識部１１２の結果を、画像間（フレーム間）で時間軸方向に引き継ぐことが可能となる。

追跡信頼性判定部１１１は、被写体追跡部１１０による被写体追跡の信頼性を判定する。前述したように、被写体追跡部１１０は、時系列的に順次供給されるフレームの各画像データから検出された被写体の大きさ及び位置の類似性に基づいて被写体の追跡を行う。この追跡方法を用いる本実施形態では、追跡信頼性判定部１１１は、被写体検出部１０９により検出される複数の被写体領域が密に分布していれば、被写体追跡部１１０による被写体追跡の信頼性が低いと判定する。一方、被写体検出部１０９により検出される複数の被写体領域が疎に分布していれば、被写体追跡部１１０による被写体追跡の信頼性が高いと判定する。なお、被写体追跡部１１０による被写体追跡の方法が、テンプレートマッチング等の画像のパターンマッチングに基づく方法であれば、追跡信頼性判定部１１１は、追跡の評価値である差分和や正規化相関の値により、被写体追跡の信頼性を判定すれば良い。

被写体認識部１１２は、被写体検出部１０９により検出された被写体領域に含まれる被写体が、特定の被写体であるか否かを識別する被写体認識処理を行う。被写体認識部１１２は、被写体検出部１０９によって検出された被写体領域の画像（被写体画像）から、その被写体領域を被認識対象として識別するための特徴情報を抽出する。そして、被写体認識部１１２は、抽出した特徴情報と予め辞書データとして記憶部１１３に登録されている被写体（登録済被写体）の画像の特徴情報とを比較して、類似度を算出する。被写体認識部１１２は、特徴情報を比較することで得られた類似度に基づいて、被認識対象の被写体がどの登録済被写体であるか、又は該当する登録済被写体が存在しないかの認識を行う。

例えば、被写体認識部１１２は、類似度に対して所定の閾値を設け、算出した類似度が所定の閾値以上である場合には、被認識対象の被写体が辞書データに登録されている登録済被写体であると判定する。ここで、被認識対象の被写体が辞書データに登録されている登録済被写体として判定されている状態を認識確定状態とし、被認識対象の被写体が何れの登録済被写体としても判定されていない（該当する登録済被写体が存在しない）状態を認識未確定状態とする。撮像装置１００において、認識確定状態は、被写体追跡部１１０による被写体追跡によって時間軸方向に引き継がれる。また、被写体追跡部１１０によって認識確定状態が引き継がれている被写体において、被写体認識部１１２による類似度が所定の閾値未満かつ追跡信頼性判定部１１１による信頼性が低いと判定された場合には、認識確定状態を認識未確定状態とする。図２に、本実施形態における被写体認識の状態遷移を示す。

記憶部１１３には、辞書データとして特定の被写体（登録済被写体）の特徴情報が、当該被写体（登録済被写体）に関連付けられて登録されている。特徴情報は、例えば特定の被写体（登録済被写体）の画像もしくは被写体認識用の画像の特徴量である。記憶部１１３に辞書データとして登録される被写体の数は複数であってもよい。また、同じ被写体のデータを記憶部１１３に辞書データとして複数登録することができるようにしても良い。

撮影制御部１０５は、Ａ／Ｄ変換部１０４から出力された画像信号に基づいて、撮像光学系１０１の図示しない焦点制御機構や露出制御機構を制御する。なお、撮影制御部１０５は、この焦点制御機構や露出制御機構の制御に、被写体検出部１０９や被写体認識部１１２から供給された、目的とする被写体領域の抽出結果を示す情報を用いることが可能である。したがって、撮像装置１００は、撮像画像における特定の被写体領域の情報を考慮した撮像条件で撮影処理を行う機能を有する。また、撮影制御部１０５は、撮像素子１０２の出力タイミングや出力画素等の制御も行う。ここで、図１に示した構成において、例えば画像処理部１０６、被写体検出部１０９、被写体追跡部１１０、被写体信頼性判定部１１１、被写体認識部１１２、及び記憶部１１３により、本実施形態に係る画像認識装置としての機能が実現される。

本実施形態に係る撮像装置１００での被写体認識を中心とした処理の流れについて図３を参照して説明する。画像処理部１０６は、撮像素子１０２を介して得られた撮像画像をＡ／Ｄ変換部１０４によりデジタル化して得られた画像を入力画像として読み込む（Ｓ３０１）。次に、被写体検出部１０９は、入力画像から被写体領域を検出し、検出データを出力する（Ｓ３０２）。被写体検出部１０９による検出データとして、検出結果の個数及び各検出結果の画像中の位置、大きさ、向き、検出結果の信頼度等が得られる。

被写体追跡部１１０は、被写体検出部１０９により検出された被写体領域のそれぞれについて、時系列的に順次供給されるフレーム間における同一被写体の判定を行う（Ｓ３０３）。被写体追跡部１１０は、例えば、被写体検出部１０９が検出した各被写体領域について、時系列で供給されるフレーム間において検出データとして得られる被写体領域の位置及び大きさの類似度が所定の基準を満たす場合には、当該被写体を同じ被写体と判定する。また、時系列で供給されるフレーム間において、検出データとして得られる被写体領域の位置及び大きさの類似度が所定の基準を満たす被写体領域が存在しない場合には、当該被写体を新規に出現した被写体としてみなす。この被写体追跡部１１０の処理により、各被写体において過去のフレームにおける状態を引き継ぐことができる。

次に、追跡信頼性判定部１１１は、各被写体に対する追跡の信頼性の判定を行う（Ｓ３０４）。本実施形態では被写体の追跡方法が、フレーム間の検出データの類似性に基づいているため、被写体領域が密に分布している場合には、異なる被写体を同一の被写体として誤って判定する可能が高くなる。一方で、被写体領域が疎に分布している場合には、異なる被写体を同一の被写体として誤って判定する可能は低い。そこで、追跡信頼性判定部１１１は、検出された被写体領域が密に分布している場合には、信頼性が低いと判定し、検出された被写体領域が疎に分布している場合には、信頼性が高いと判定する。

次に、被写体認識部１１２は、被写体検出部１０９により検出された被写体領域に含まれる被写体が辞書データ１１３として記憶部１１３に登録されている被写体（登録済被写体）であるかを認識する（Ｓ３０５）。このステップＳ３０５での被写体認識処理の詳細については後述する。撮像装置１００は、ステップＳ３０１からステップＳ３０５までの処理を、時系列的に逐次供給される撮像画像に対してそれぞれ実施する。このようにして、撮像装置１００は、被認識対象の被写体についての過去に確定した認識結果を被写体追跡により画像間で引き継ぐことにより、認識結果の安定性を向上させることができる。

図３に示したステップＳ３０５での被写体認識部１１２による被写体認識処理の流れについて図４を参照して説明する。図４に示す被写体認識処理は、各被写体に対して実施される。まず、被写体認識部１１２は、処理対象の被写体領域に含まれる被写体が認識確定状態であるか否かを判定する（Ｓ４０１）。判定の結果、認識確定状態でなければ（Ｓ４０１でＮＯと判定）、被写体認識部１１２は認識処理を行う（Ｓ４０２）。ここで、認識処理とは、処理対象の被写体の特徴データを抽出し、記憶部１１３に記憶されている登録済被写体の特徴データと比較して類似度を算出する処理を示す。なお、記憶部１１３に複数の被写体が記憶されていれば、それぞれの被写体に対する類似度が算出される。

算出された類似度が所定の閾値（第１の閾値）以上であれば（Ｓ４０３でＹＥＳと判定）、被写体認識部１１２は、処理対象の被写体を記憶部１１３に記憶されている登録済被写体と同一の人物であると判断し、認識確定状態とする（Ｓ４０４）。なお、類似度が所定の閾値以上となる記憶部１１３に記憶されている登録済被写体が複数ある場合には、被写体認識部１１２は、最も類似度が高い登録済被写体を処理対象の被写体として判定する。また、算出された類似度が所定の閾値未満であれば（Ｓ４０３でＮＯと判定）、被写体認識部１１２は、状態を認識未確定状態のままにして、当該被写体に対しての処理を終了する。

ステップＳ４０１での判定の結果、処理対象の被写体が認識確定状態であれば（Ｓ４０１でＹＥＳと判定）、被写体認識部１１２は、追跡信頼性判定部１１１による信頼性の判定結果に基づいて判定を行う（Ｓ４０５）。被写体追跡の信頼性が低い場合には（Ｓ４０５でＹＥＳと判定）、被写体認識部１１２は認識処理を行う（Ｓ４０６）。ここでの認識処理とは、ステップＳ４０２と同様に、処理対象の被写体の特徴データを抽出し、記憶部１１３に記憶されている登録済被写体の特徴データと比較して類似度を算出する。

ただし、ステップＳ４０２では、記憶部１１３に記憶されているすべての登録済被写体における類似度を算出するのに対して、ステップＳ４０６では、処理対象の被写体を認識確定状態とした記憶部１１３に記憶されている登録済被写体のみの類似度を算出する。これは、類似度算出の目的の違いである。ステップＳ４０２での処理は、被認識対象の被写体とすべて（Ｎ個）の登録済被写体とについての１対Ｎの識別処理であり、被認識対象がどの人物であるかを判定するための処理である。それに対して、ステップＳ４０６での処理は、被認識対象の被写体と過去に確定されている１つの登録済被写体とについての１対１の照合処理であり、被認識対象の被写体と特定の登録済被写体が同一の人物であるかを判定するための処理である。つまり、認識状態に応じて認識処理の方法が異なることとなる。なお、ステップＳ４０２において、登録済被写体が幾つかのグループに分けられている場合には、選択されたグループに含まれる複数の登録済被写体のみを用いて識別処理を行うようにしてもよい。

ステップＳ４０６において算出された類似度が所定の閾値（第２の閾値）未満であれば（Ｓ４０７でＹＥＳと判定）、被写体認識部１１２は、処理対象の被写体を認識確定状態から認識未確定状態に変更する（Ｓ４０８）。一方、算出された類似度が所定の閾値以上であれば（Ｓ４０７でＮＯと判定）、被写体認識部１１２は、状態を認識確定状態のままにして、当該被写体に対しての処理を終了する。

また、ステップＳ４０５での判定の結果、被写体追跡の信頼性が高いと判定されれば（Ｓ４０５でＮＯと判定）、被写体認識部１１２は認識状態の変更を行わずに引き継いでいる認識確定状態のままとする。このようにすることで、ステップＳ４０２やＳ４０６のような認識処理を実施しないため、処理負荷の軽減や処理の効率化につながる。

本実施形態における被写体認識の効果に関して、図５を参照して説明する。図５（ａ）には、被写体追跡の信頼性が低く、かつ認識処理の類似度が低い場合に、処理対象の被写体を認識未確定状態にする処理を実施しない場合の結果例を示している。また、図５（ｂ）には、被写体追跡の信頼性が低く、かつ認識処理の類似度が低い場合に、処理対象の被写体を認識未確定状態にする処理を実施する場合の結果例を示している。つまり、図５（ｂ）に示す結果例が、本実施形態における処理の結果を示すこととなる。

図５（ａ）に示す５０１〜５０６、及び図５（ｂ）に示す５０７〜５１２は、時系列的に逐次供給される画像を模式図的に表現したものである。図中の顔を囲む点線枠は認識未確定状態を示す。また、図中の顔を囲む実線枠は認識確定状態を示し、その上部の文字列は確定した登録済被写体の被写体情報を示す。

ここでは、被写体Ａが記憶部１１３に登録済被写体として記憶されており、被写体Ｂは記憶されていない（登録済被写体ではない）ものとする。被写体認識の精度は、顔領域の表情や向き、照明条件といった状態によって影響を受けるため、被認識対象の顔領域と記憶部１１３に登録されている顔領域の状態とが異なる場合には、正しく認識できないことがある。つまり、被認識対象の被写体と登録済被写体とが同一の人物であるにもかかわらず、低い類似度が出力される。例えば、記憶部１１３には、被写体Ａの顔が正面向きの状態が登録されており、被認識対象の顔が横向きの場合には、個人によらず、低い類似度が出力されるものとする。また、被認識対象の顔が正面向きの場合には、同一の人物であれば（被認識対象が被写体Ａであれば）、類似度が高く、異なる人物であれば（被認識対象が被写体Ｂであれば）、類似度が低く出力されるものとする。

画像５０１では、被写体Ａの顔は横向きであるために正しく認識できず認識未確定状態であることを示す。画像５０２では、被写体Ａの顔は正面向きとなったため、正しく認識でき認識確定状態となったことを示す。画像５０３では、被写体Ａの顔は横向きであるが認識確定状態であることを示す。これは、認識処理による類似度で判断したのではなく、被写体追跡により前フレームの結果を引き継いだことにより、認識確定状態を維持している。また、画像５０１から画像５０３では、被写体Ａと被写体Ｂの距離は離れており、被写体領域の検出状況は疎であることから、被写体追跡の信頼性は高いと判定されている。

画像５０４では、被写体Ａと被写体Ｂの距離が近く、被写体領域の検出状況は密であることから、被写体追跡の信頼性は低いと判定される。ただし、被写体Ａの顔は正面向きであり、高い類似度が得られるため、認識確定状態を維持できている。画像５０４から画像５０５において、被写体Ａと被写体Ｂは交差し、画像５０５では被写体追跡の失敗により、誤って認識確定状態を被写体Ｂに引き継いでいる例を示す。この誤った認識確定状態の引き継ぎは継続されるため、画像５０６でも誤った認識結果となる。

次に、図５（ｂ）に示す本実施形態における処理を適用した結果例に関して説明する。なお、画像５０７から画像５１０の説明は、前述した画像５０１から画像５０４と同様であるため省略する。画像５１０から画像５１１において、被写体Ａと被写体Ｂは交差し、被写体追跡の失敗が発生している。つまり、被写体Ｂに対して被写体Ａとの認識確定状態が引き継がれる。ただし、画像５１１では、被写体Ａと被写体Ｂの距離が近く、被写体領域の検出状況は密であることから、被写体追跡の信頼性は低いと判定される。また、認識処理によって算出される類似度は、異なる被写体であることから低い値が得られる。したがって、処理対象の被写体を認識確定状態から認識未確定状態にする処理が実行される。そのため、画像５１１では、誤った認識状態の引き継ぎは実施されない。画像５１２では、被写体Ａの顔は正面向きであり、正しい認識結果が得られ再度認識確定状態に復帰した例を示す。

以上のように、本実施形態によれば、処理対象の被写体の認識確定状態を被写体追跡により引き継ぐことにより認識確定状態を安定化するとともに、異なる被写体に認識確定状態が引き継がれてしまうことを防ぐことができる。

（本発明の他の実施形態）
以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。その例を以下に示す。
前述した実施形態では、被写体認識を行う画像認識装置を撮像装置に適用した場合を例示したが、画像認識装置を適用する機器は撮像装置に限定しない。例えば、外部機器や記録媒体などから逐次供給される画像（再生データ）を表示する表示装置に被写体認識を行う画像認識装置を適用しても良い。この表示装置では、再生データを被写体検出処理のデータとして被写体認識が行われることとなる。この表示装置におけるマイクロコントローラなどの制御部は、被写体認識された被写体の情報（画像中の被写体の位置、大きさ、被写体ＩＤなど）に基づいて、画像を表示する際の表示条件を制御する。具体的には、画像中の被写体の位置に枠や被写体ＩＤなどの被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じた表示画像の輝度や色合いなどの制御を行う。

また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

例えば、前述の実施形態に示した画像認識装置は、図６に示すようなコンピュータ機能６００を有し、そのＣＰＵ６０１により前述した実施形態での動作が実施される。
コンピュータ機能６００は、図６に示すように、ＣＰＵ６０１と、ＲＯＭ６０２と、ＲＡＭ６０３とを備える。また、操作部（ＣＯＮＳ）６０９のコントローラ（ＣＯＮＳＣ）６０５と、ＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）６１０のディスプレイコントローラ（ＤＩＳＰＣ）６０６とを備える。さらに、ハードディスク（ＨＤ）６１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）６１２のコントローラ（ＤＣＯＮＴ）６０７と、ネットワークインタフェースカード（ＮＩＣ）６０８とを備える。それら機能部６０１、６０２、６０３、６０５、６０６、６０７、６０８は、システムバス６０４を介して互いに通信可能に接続された構成としている。
ＣＰＵ６０１は、ＲＯＭ６０２又はＨＤ６１１に記憶されたソフトウェア、又はＳＴＤ６１２より供給されるソフトウェアを実行することで、システムバス６０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ６０１は、前述したような動作を行うための処理プログラムを、ＲＯＭ６０２、ＨＤ６１１、又はＳＴＤ６１２から読み出して実行することで、前述した実施形態での動作を実現するための制御を行う。ＲＡＭ６０３は、ＣＰＵ６０１の主メモリ又はワークエリア等として機能する。
ＣＯＮＳＣ６０５は、ＣＯＮＳ６０９からの指示入力を制御する。ＤＩＳＰＣ６０６は、ＤＩＳＰ６１０の表示を制御する。ＤＣＯＮＴ６０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び前述した実施形態における前記処理プログラム等を記憶するＨＤ６１１及びＳＴＤ６１２とのアクセスを制御する。ＮＩＣ６０８はネットワーク６１３上の他の装置と双方向にデータをやりとりする。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：撮像光学系 １０２：撮像素子 １０３：アナログ信号処理部 １０４：Ａ／Ｄ変換部 １０５：撮影制御部 １０６：画像処理部 １０９：被写体検出部 １１０：被写体追跡部 １１１：追跡信頼性判定部 １１２：被写体認識部 １１３：記憶部

Claims (8)

1. 時系列に供給される画像から特定の被写体を認識する画像認識装置であって、
   前記特定の被写体に関する特徴情報を記憶する記憶部と、
   供給される前記画像から被写体領域を検出する被写体検出手段と、
   前記被写体検出手段により検出された前記被写体領域の画像から特徴情報を抽出し、前記記憶部に記憶されている前記特定の被写体の特徴情報と比較して類似度を算出し、算出した前記類似度に基づいて被写体認識を行う被写体認識手段と、
   前記被写体検出手段により検出された前記被写体領域に含まれる被写体を時系列に供給される画像において追跡する被写体追跡手段と、
   前記被写体追跡手段による被写体追跡の信頼性を判定する信頼性判定手段とを有し、
   前記被写体認識手段により算出した前記類似度が所定の閾値以上の場合には、前記被写体領域に含まれる被写体を前記記憶部に記憶されている前記特定の被写体であると判定して認識確定状態とし、前記認識確定状態を前記被写体追跡手段による被写体追跡によって時系列に供給される画像間で引き継ぎ、
   前記被写体追跡の信頼性が低く、かつ前記被写体認識手段により算出した前記類似度が所定の閾値未満の場合には、引き継がれている前記認識確定状態を、前記被写体領域に含まれる被写体が前記特定の被写体であると判定されていない認識未確定状態にすることを特徴とする画像認識装置。
2. 前記被写体認識手段は、前記被写体追跡の信頼性が高い場合には、前記被写体追跡によって前記認識確定状態を引き継いでいる被写体に対する被写体認識を実行しないことを特徴とする請求項１記載の画像認識装置。
3. 前記信頼性判定手段は、前記被写体検出手段により検出された複数の前記被写体領域が密に分布している場合には前記被写体追跡の信頼性が低いと判定し、前記被写体検出手段により検出された複数の前記被写体領域が疎に分布している場合には前記被写体追跡の信頼性が高いと判定することを特徴とする請求項１又は２記載の画像認識装置。
4. 前記被写体認識手段は、
   前記被写体追跡によって前記認識確定状態が引き継がれていない被写体に対しては、前記記憶部に記憶されている複数の被写体との類似度をそれぞれ算出し、
   前記被写体追跡によって前記認識確定状態が引き継がれている被写体に対しては、前記記憶部に記憶されている被写体のうち、認識確定状態とされた被写体との類似度を算出することを特徴とする請求項１〜３の何れか１項に記載の画像認識装置。
5. 撮像した画像を時系列に供給する撮像手段と、
   請求項１〜４の何れか１項に記載の画像認識装置と、
   前記撮像手段での撮像条件を、前記画像認識装置により得られる被写体の情報に応じて制御する制御手段とを備えることを特徴とする撮像装置。
6. 時系列に供給される画像を表示する表示手段と、
   請求項１〜４の何れか１項に記載の画像認識装置と、
   前記表示手段での画像の表示条件を、前記画像認識装置により得られる被写体の情報に応じて制御する制御手段とを備えることを特徴とする表示装置。
7. 時系列に供給される画像から、記憶部に特徴情報が記憶されている特定の被写体を認識する画像認識装置の制御方法であって、
   供給される前記画像から被写体領域を検出する被写体検出工程と、
   前記被写体検出工程にて検出された前記被写体領域の画像から特徴情報を抽出し、前記記憶部に記憶されている前記特定の被写体の特徴情報と比較して類似度を算出し、算出した前記類似度に基づいて被写体認識を行う被写体認識工程と、
   前記被写体検出工程にて検出された前記被写体領域に含まれる被写体を時系列に供給される画像において追跡する被写体追跡工程と、
   前記被写体追跡工程での被写体追跡の信頼性を判定する信頼性判定工程とを有し、
   前記被写体認識工程にて算出した前記類似度が所定の閾値以上の場合には、前記被写体領域に含まれる被写体を前記記憶部に記憶されている前記特定の被写体であると判定して認識確定状態とし、前記認識確定状態を前記被写体追跡工程での被写体追跡によって時系列に供給される画像間で引き継ぎ、
   前記被写体追跡の信頼性が低く、かつ前記被写体認識工程にて算出した前記類似度が所定の閾値未満の場合には、引き継がれている前記認識確定状態を、前記被写体領域に含まれる被写体が前記特定の被写体であると判定されていない認識未確定状態にすることを特徴とする画像認識装置の制御方法。
8. 時系列に供給される画像から、記憶部に特徴情報が記憶されている特定の被写体を認識する画像認識装置の制御方法をコンピュータに実行させるためのプログラムであって、
   供給される前記画像から被写体領域を検出する被写体検出ステップと、
   前記被写体検出ステップにて検出された前記被写体領域の画像から特徴情報を抽出し、前記記憶部に記憶されている前記特定の被写体の特徴情報と比較して類似度を算出し、算出した前記類似度に基づいて被写体認識を行う被写体認識ステップと、
   前記被写体検出ステップにて検出された前記被写体領域に含まれる被写体を時系列に供給される画像において追跡する被写体追跡ステップと、
   前記被写体追跡ステップでの被写体追跡の信頼性を判定する信頼性判定ステップとをコンピュータに実行させ、
   前記被写体認識ステップにて算出した前記類似度が所定の閾値以上の場合には、前記被写体領域に含まれる被写体を前記記憶部に記憶されている前記特定の被写体であると判定して認識確定状態とし、前記認識確定状態を前記被写体追跡ステップでの被写体追跡によって時系列に供給される画像間で引き継ぎ、
   前記被写体追跡の信頼性が低く、かつ前記被写体認識ステップにて算出した前記類似度が所定の閾値未満の場合には、引き継がれている前記認識確定状態を、前記被写体領域に含まれる被写体が前記特定の被写体であると判定されていない認識未確定状態にする処理をコンピュータに実行させるためのプログラム。

Images