JP5995610B2

JP5995610B2 - 被写体認識装置及びその制御方法、撮像装置、表示装置、並びにプログラム

Info

Publication number: JP5995610B2
Application number: JP2012185762A
Authority: JP
Inventors: 良介辻
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-08-24
Filing date: 2012-08-24
Publication date: 2016-09-21
Anticipated expiration: 2032-08-24
Also published as: JP2014044525A

Description

本発明は、被写体認識装置及びその制御方法、撮像装置、表示装置、並びにプログラムに関する。

近年、画像中に含まれる特定の被写体を認識する被写体認識機能を備えた撮像装置が提案されている。被写体認識機能を有することにより、認識された被写体に対して優先的にフォーカスや露出を制御することが可能となる。このような被写体認識機能を備えた撮像装置では、まず、撮像装置で撮影して得られた画像データから、特定の被写体領域が含まれる被写体画像領域を検出する。次に、検出された被写体画像領域の画像データから特徴情報を抽出し、抽出した特徴情報と予め辞書データとして登録された登録対象の特徴情報とを比較する。そして、この比較により得られる類似度に基づき、検出された被写体がどの登録対象であるか、または該当する登録対象がいないかの認識を行う。

例えば、特許文献１には、特定の被写体領域として人物の顔を検出し、この顔の特徴情報を抽出して、この顔が誰であるかを判定する個人認識を行うシステムが開示されている。なお、本明細書では検出された顔等の画像について、それが誰の（どの）ものであるかを識別する処理を認識と称する。

上述したように、被写体認識のためには、予め辞書データとして認識を行いたい被写体を登録しておく必要がある。特許文献２には、撮影された人物が被写体認識により認識されなかった場合、当該人物を認識用の辞書データに登録するシステムが開示されている。

特開２００３−１８７３５２号公報特開２００８−２５０７５５号公報

しかしながら、特許文献２の登録方法では、不特定多数の人物が辞書データとして登録されてしまう。被写体認識機能を備えた撮像装置では、目的とする被写体のみを辞書データに登録することが望ましい。また、登録される辞書データの数に応じて、記憶容量や被写体認識のための処理時間が大きくなる。そのため、辞書データに自動登録するにあたって、登録すべき被写体であるか否かの判定が必要となる。

本発明は上述した課題に鑑みてなされたものであり、被写体認識用の辞書データを自動で登録するにあたって、辞書データに登録すべき重要な被写体を判定する機能を提供する。

本発明の一側面は、時系列的に供給された画像に含まれる被写体を認識する被写体認識装置に係り、第１の特定の被写体を認識するための特徴データを含む辞書データと、前記第１の特定の被写体以外の第２の特定の被写体を認識するための特徴データを、前記辞書データに移行する前に一時的に含む仮辞書データと、を保持する辞書データベースと、前記画像の一連のフレームの各々において被写体を検出する検出手段と、前記検出手段により検出された被写体ごとに、前記検出手段による検出の結果に基づいて、当該被写体を前記画像の一連のフレームにわたり追跡する追跡手段と、前記検出手段により検出された被写体ごとに、当該被写体の特徴データを抽出し、該抽出された特徴データを前記辞書データベースに保持された特徴データと比較することで当該被写体の認識を行う認識手段と、前記抽出された特徴データを、前記辞書データベースにおける前記辞書データ又は前記仮辞書データに登録する登録手段とを有し、前記登録手段は、前記認識手段により前記辞書データ及び前記仮辞書データを用いて認識が得られなかった被写体については、前記追跡手段の追跡結果に基づいて求められる重要度が所定値以上の場合には、当該被写体の特徴データを前記仮辞書データに登録し、前記認識手段は、前記抽出された特徴データを前記仮辞書データに登録されている特徴データと比較して、前記抽出された特徴データに係る被写体と前記仮辞書データにおける特徴データに係る被写体との類似度を示す認識評価値を算出し、前記認識評価値に基づいて、当該被写体の特徴データを前記辞書データに移行することを特徴とする。

本発明によれば、ユーザーに辞書登録のための負担をかけることなく、動画像に基づく重要度の高い被写体に関する被写体認識用の辞書データを登録することができる。

実施形態による撮像装置の構成例を示すブロック図。実施形態による被写体認識および辞書データ登録の処理を示すフローチャート。実施形態による被写体認識処理を示すフローチャート。実施形態による辞書データの登録判定処理を示すフローチャート。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。

図１は、実施形態に係る被写体認識装置を備えた撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、撮影して得られた画像データから特定の被写体領域として人物の顔を検出し、この顔の特徴情報を抽出して、その顔が誰であるかを識別する個人認識を行う機能を有する。また、撮影して得られた画像データから重要な被写体を判定し、個人認識用の辞書データとして登録する機能を有する。

撮像レンズ１０１によって被写体像を表す光線が集光され、ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような撮像素子１０２に入射する。撮像素子１０２は、入射した光線の強度に応じた電気信号を画素単位で出力する。この電気信号が映像信号である。撮像素子１０２から出力された映像信号は、アナログ信号処理部１０３において相関二重サンプリング（ＣＤＳ）等のアナログ信号処理が行われる。

アナログ信号処理部１０３から出力された映像信号は、Ａ／Ｄ変換部１０４においてデジタルデータの形式に変換され、デジタル化された画像が生成される。デジタル化された画像は処理対象の画像として撮影制御部１０５および画像処理部１０６に入力される。画像処理部１０６においては、入力された処理対象の画像についてガンマ補正、ホワイトバランス処理などの画像処理が行われる。また、画像処理部１０６は、通常の画像処理に加え、後述する被写体検出部１０９、被写体認識部１１０から供給される画像中の特定の被写体領域に関する情報を用いた画像処理を行う機能を有する。画像処理部１０６から出力された映像信号は、表示部１０７に送られる。表示部１０７は、例えばＬＣＤや有機ＥＬディスプレイであり、映像信号を表示する。時系列的に連続撮影した画像を逐次、表示部１０７に表示することで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、映像信号は記録媒体１０８（例えば着脱可能なメモリカード）に記録される。なお、記録先はカメラの内蔵メモリやカメラに装着されたメモリであってもよいし、通信可能に接続された外部装置であってもよい。

画像処理部１０６から出力された映像信号（処理対象の画像）は、被写体検出部１０９にも供給される。被写体検出部１０９は、画像の一連のフレームの各々において被写体を検出する。具体的には、被写体検出部１０９は、画像中の目的とする特定の被写体を検出し、被写体の数と被写体領域を特定する。本実施形態において、目的とする被写体は例えば、人物の顔である。検出方法としては公知の顔検出方法を用いることができる。顔検出の公知技術には、例えば顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法とニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。また、検出精度向上のために複数の顔検出方法を組み合わせて顔検出を行うのが一般的である。具体的には、特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。被写体検出部１０９により出力される検出データとしては、検出数分の被写体の位置、大きさ、傾き、検出結果の信頼度などが挙げられる。

被写体認識部１１０は、被写体検出部１０９により検出された被写体の画像データ（被写体画像）から、その被写体領域を被認識対象として識別するための特徴データを抽出する。そして、抽出した特徴データと予め辞書データベース１１１に登録されている被写体画像の特徴データとを比較する。すなわち、被写体画像の画像特徴と辞書データベース１１１に登録された被写体の画像特徴とが比較される。被写体認識部１１０は、この比較による類似度を示す認識評価値に基づき、被認識対象がどの登録対象であるか、または該当する登録対象がいないかの認識を行う。例えば、認識評価値が所定の閾値以上の場合に、被認識対象が辞書データベース１１１に登録されている該当対象であると判定することができる。

辞書データベース１１１には、目的とする被写体の画像もしくは被写体認識用の画像特徴が、当該被写体に関連付けられて登録されている。辞書データベース１１１に登録される被写体の数は複数であってもよい。また、同じ被写体のデータを辞書データに複数登録することができるようにしてもよい。

また、辞書データの自動登録における重要被写体の判定のため、辞書データベース１１１には、辞書データ登録候補の被写体の画像もしくは被写体認識用の画像特徴が、一時的に仮辞書データとして登録されている。仮辞書データに関しても、同様に辞書データベース１１１に仮登録される被写体の数は複数であってもよいし、同じ被写体のデータを複数仮登録することができるようにしてもよい。

このように、辞書データベース１１１は、第１の特定の被写体を認識するための特徴データを含む辞書データと、第１の特定の被写体以外の第２の特定の被写体を認識するための特徴データを、辞書データに移行する前に一時的に含む仮辞書データと、を保持する。

被写体追跡部１１２は、被写体検出部１０９により検出された被写体ごとに、被写体検出部１０９による検出の結果に基づいて、当該被写体を画像の一連のフレームにわたり追跡する。具体的には、被写体追跡部１１２は、あるフレームで検出された被写体領域と、別のフレームのどの領域が同一被写体の領域かを判定する。被写体追跡部１１２は、時系列的に連続するフレームにおいて各画像データから検出された被写体において、それぞれの大きさと位置が類似するものを同一被写体であるとみなす。

重要度算出部１１３は、辞書データベース１１１に辞書データもしくは仮辞書データとして登録する特定の被写体を判定するために、各被写体に対する重要度を算出する。被写体認識部１１０において、被認識対象が辞書データベース１１１に登録されていない被写体と判定された場合は、被写体追跡部１１２による追跡結果に基づいて当該被写体における第１の重要度を算出する。第１の重要度は、例えば、当該被写体が被写体追跡部１１２により追跡された継続時間長とすることができる。また、第１の重要度は、主被写体として追跡された継続時間長としてもよい。あるいは、被写体追跡部１１２により追跡されている間に主被写体として選択された回数でもよい。主被写体は被写体検出部１０９により、複数の被写体が検出された場合に各被写体の画像中の位置や大きさなどから決定される。例えば、検出された被写体の位置が画像中心に近くかつ大きさが大きい被写体を主被写体として決定する。被写体認識部１１０において、被認識対象が辞書データベース１１１の仮辞書データとして登録されている被写体と判定された場合は、当該被写体における第２の重要度を算出する。第２の重要度は、例えば、被写体認識部１１０において仮辞書データと一致する被写体であると判定された回数とする。この、第２の重要度は、所定時間内に当該被写体が仮辞書データに登録されていると判定された頻度が高いほど、あるいは、得られた第２の認識評価値の平均値が高いほど、大きな値となるものであってもよい。

登録部１１４は、各被写体の重要度算出部１１３により算出された重要度に基づき、被写体の画像もしくは被写体認識用の画像特徴を辞書データベース１１１に登録する。第１の重要度が所定の条件を満たした場合は、当該被写体の画像もしくは被写体認識用の画像特徴を仮辞書データとして登録する。また、第２の重要度が所定の条件を満たした場合は、当該被写体の画像もしくは被写体認識用の画像特徴を辞書データとして登録する。

撮影制御部１０５は、Ａ／Ｄ変換部１０４から出力された映像信号に基づいて、撮像レンズの図示しない焦点制御機構や露出制御機構を制御する。撮影制御部１０５は、この焦点制御機構や露出制御機構による撮像条件の制御に、被写体検出部１０９や被写体認識部１１０から供給された目的とする被写体領域の抽出結果の情報を用いることができる。従って、撮像装置１００は、撮像画像における特定の被写体領域の情報を考慮した撮影処理を行う機能を有する。撮影制御部１０５は、撮像素子１０２の出力タイミングや出力画素などの制御も行う。

本実施形態に係る被写体認識および辞書データ登録の処理の流れについて図２を参照して説明する。画像処理部１０６は、撮像素子１０２を介して得られた撮像画像をＡ／Ｄ変換部１０４によりデジタル化して得られた画像を入力画像として読み込む（Ｓ２０１）。

次に、被写体検出部１０９は、入力画像中の被写体領域を検出し、検出データを出力する（Ｓ２０２）。被写体検出部１０９による検出データとして、検出結果の個数と各検出結果の画像中の位置、大きさ、向き、検出結果の信頼度などが得られる。なお、Ｓ２０２において被写体が検出されなかった場合は、Ｓ２０３からＳ２０５の処理は実施せず、Ｓ２０１へ戻る。

次に、被写体追跡部１１２は、被写体検出部１０９により検出された被写体のそれぞれについて、時系列的に連続するフレーム間における同一被写体の判定を行う（Ｓ２０３）。被写体追跡部１１２では、例えば、被写体検出部１０９が検出した各被写体について、時系列的に連続なフレーム間において検出データとして得られる被写体の位置および大きさの類似度が所定の基準を満たす場合は、当該被写体を同じ被写体と判定する。また、時系列的に連続なフレーム間において、検出データとして得られる被写体の位置および大きさの類似度が所定の基準を満たす被写体が存在しない場合は、当該被写体を新規に出現した被写体と判定する。

次に、被写体認識部１１０は、被写体検出部１０９により検出された被写体の画像データ（被写体画像）から、その被写体領域を被認識対象として識別するための特徴データを抽出する。被写体認識部１１０は、更に、当該特徴データと予め辞書データベース１１１に登録されている被写体の画像の特徴データとを比較して、被写体認識を行う（Ｓ２０４）。被写体認識部１１０により、被認識対象が辞書データベース１１１に登録されている被写体と同一被写体であるか否かが判定される。被写体認識の処理の詳細に関しては、後述する。

次に、重要度算出部１１３は、辞書データベース１１１に登録する被写体を判定するために、各被写体の重要度を算出する。算出された重要度が所定の条件を満たす場合は、登録部１１４により辞書データベース１１１に当該被写体の画像もしくは被写体認識用の特徴データを登録する（Ｓ２０５）。重要度算出部１１３および登録部１１４による辞書データベース１１１への登録方法に関する処理の詳細に関しては、後述する。そして、処理はＳ２０１へ戻る。

ここで、被写体認識処理（Ｓ２０４）の詳細を、図３を参照して説明する。この被写体認識処理は、被写体検出部１０９により検出された被写体を被認識対象として、被写体認識部１１０によって実行される。まず、被写体検出部１０９からの検出データに基づき、撮像画像から被写体画像を切り出し、大きさや傾きを正規化する（Ｓ３０１）。次いで、正規化データを用いて、被写体の特徴データを抽出する（Ｓ３０２）。被写体が顔の場合、目、鼻、口などの器官特徴点の位置座標を特徴データとして抽出する。辞書データおよび仮辞書データに関しても、同様に正規化処理、特徴抽出処理が実施されているものとする。次いで、被認識対象の特徴データと辞書データの特徴データとを比較して、被認識対象と辞書データに係る被写体との類似度を示す第１の認識評価値を算出する（Ｓ３０３）。算出された第１の認識評価値が第１の閾値以上の場合（Ｓ３０４でＹＥＳ）、被認識対象は辞書データに登録された被写体として判定する（Ｓ３０５）。一方で、算出された第１の認識評価値が第１の閾値未満の場合（Ｓ３０４でＮＯ）、被認識対象は辞書データに登録された被写体としては判定されない。次いで、被認識対象の特徴データと仮辞書データの特徴データとを比較して、第２の認識評価値を算出する（Ｓ３０６）。第２の認識評価値が第２の閾値以上の場合（Ｓ３０７でＹＥＳ）、被認識対象は仮辞書データに登録された被写体として判定する（Ｓ３０８）。一方で、第２の認識評価値が第２の閾値未満の場合（Ｓ３０７でＮＯ）、被認識対象は仮辞書データに登録された被写体として判定されない。以上のＳ３０１からＳ３０８までの処理が、各被認識対象に対して実施される。なお、被認識対象が辞書データもしくは仮辞書データの被写体として判定された結果は、被写体追跡部１１２により時系列的に連続するフレーム間での同一被写体の対応がとれているため、時系列的に保持してもよい。また、第１の閾値と第２の閾値は同じ値であってもよい。なお、ここででは、検出された被写体が辞書データに登録されていると判定されず、かつ、仮辞書データに登録されていると判定された場合に、重要度算出部１１３は当該被写体に第２の重要度を算出する構成であったが、これに限られるものではない。重要度算出部１１３は、検出された被写体の特徴データと辞書データおよび仮辞書データの特徴データとを比較して、仮辞書データの特徴データとの類似度が最も高く、かつ、評価値が閾値を超えているという条件を満たしているか否かを判定する。そして、重要度算出部１１３は、この条件さえ満たしていれば、第２の重要度を増加させるようにしてもよい。

次に、辞書データの登録判定処理（Ｓ２０５）の詳細を、図４を参照して説明する。まず、重要度算出部１１３は、被写体認識部１１０による被写体認識処理（Ｓ２０４）の結果に基づき、検出された被写体が辞書データに登録されているか否かを判定する（Ｓ４０１）。検出された被写体が辞書データに登録されていると判定された場合（Ｓ４０１でＹＥＳ）、当該被写体に関する辞書データは既に登録済みのため、処理を終了する。当該被写体が辞書データに登録されていると判定されなかった場合（Ｓ４０１でＮＯ）は、重要度算出部１１３は、当該被写体が仮辞書データに登録されているか否かを判定する（Ｓ４０２）。この判定は、被写体認識部１１０による被写体認識処理（Ｓ２０４）の結果に基づいて行われる。

当該被写体が仮辞書データにも登録されていないと判定された場合（Ｓ４０２でＮＯ）、すなわち、辞書データを用いても仮辞書データを用いても認識が得られなかった場合、重要度算出部１１３は、当該被写体に対する第１の重要度を算出する（Ｓ４０３）。ここでは例えば、当該被写体が被写体追跡部１１２により追跡された継続時間長を、第１の重要度として算出する。継続時間長が長いほど、第１の重要度は大きく算出される。次いで、登録部１１４は、第１の重要度が所定の条件を満たすか否かを判定する（Ｓ４０４）。第１の重要度である継続検出時間が所定値以上となった場合（Ｓ４０４でＹＥＳ）、登録部１１４は、当該被写体を仮辞書データとして登録する（Ｓ４０５）。一方、第１の重要度が所定の条件を満たさなかった場合（Ｓ４０４でＮＯ）は、処理を終了する。以上のように、被写体が追跡された継続時間長を示す第１の重要度を用いて、検出された被写体を仮辞書データに登録するか否かを判定する。これにより、通行人などの一時的に検出される被写体は仮辞書データには登録されず、継続して検出される時間の長い撮影目的の被写体のみを仮辞書データに登録することができる。

なお、第１の重要度は被写体が追跡された継続時間長に限らない。例えば、撮影画像中に複数の被写体が検出された場合など、複数の検出被写体から主被写体を選定し、主被写体として追跡された継続時間長を第１の重要度としてもよい。あるいは、追跡されている間に主被写体として選択された回数でもよい。また、検出される被写体数が多い場合は、特定の被写体を撮影目的としていない可能性がある。そこで、一連のフレームにおいて検出された被写体の数が所定数以上である場合は、それらの被写体については、第１の重要度を算出せず、仮辞書データへの登録を行わないようにしてもよい。また、Ｓ４０４における第１の重要度が所定の条件を満たしたかの判定において、算出された第１の重要度が既に仮辞書データとして登録されている被写体の重要度よりも高いことを条件に加えてもよい。その場合、仮辞書データとして登録する際に、被写体の画像もしくは特徴データとともに当該被写体の第１の重要度を記憶しておく。なお、仮辞書データに登録後も継続して検出されている期間は、登録された第１の重要度を更新する。以上により、仮辞書データに登録する被写体を絞り込み、重要な被写体のみを登録することができる。

当該検出された被写体が仮辞書データに登録されていると判定された場合（Ｓ４０２でＹＥＳと判定）、重要度算出部１１３は、当該被写体に対する第２の重要度を算出する（Ｓ４０６）。第２の重要度は、例えば、検出された被写体が被写体認識部１１０により仮辞書データに登録されていると判定された回数により算出される。当該被写体が仮辞書データに登録されていると判定された回数が多いほど、第２の重要度は大きくなる。または、所定時間内に当該被写体が仮辞書データに登録されていると判定された頻度が高いほど、あるいは、得られた第２の認識評価値の平均値が高いほど、第２の重要度は大きくなるものであってもよい。第２の重要度である判定回数が所定値以上となるなど所定の条件を満たした場合（Ｓ４０７でＹＥＳと判定）、登録部１１４は、当該被写体の特徴データを仮辞書データから辞書データに移行する（Ｓ４０８）。一方で、第２の重要度が所定の条件を満たさない場合（Ｓ４０７でＹＥＳ）は、処理を終了する。仮辞書データの被写体として認識された回数を第２の重要度として用いることにより、当該被写体が複数回撮影されていることを示し、より重要である被写体として判定できる。また、仮辞書データとして登録された被写体画像もしくは特徴データが被写体認識用の辞書データとして適切であることを示す。

なお、上述の実施形態では、辞書データおよび仮辞書データの登録処理に関して説明した。ここで、仮辞書データを削除する方法に関して説明する。仮辞書データの登録後において、検出された被写体が仮辞書データの被写体として認識されない期間または回数が所定の閾値以上の場合、当該仮辞書データを削除する。これは、仮辞書データとして登録された被写体が、登録後に撮影対象の被写体とはならず、辞書データに登録する重要な被写体ではないためである。また、仮辞書データに登録された被写体が検出されているにもかかわらず、登録された仮辞書データの被写体画像もしくは特徴データが被写体認識において適切ではない可能性がある。その場合は、検出された被写体が仮辞書データの被写体として認識されない期間または回数が増加するため、削除される。

以上の実施形態によれば、動画像に基づく重要度の高い被写体に関する被写体認識用の辞書データを登録することができ、ユーザーに辞書登録のための負担を軽減することができる。

（他の実施形態）
以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。その例を以下に示す。

上述した実施形態では撮像装置に被写体認識を行う画像認識装置を適用した場合を例示したが、画像認識装置を適用する機器は撮像装置に限定されない。例えば、外部機器や記録媒体などから逐次供給される画像（再生データ）を表示する表示装置に被写体認識を行う画像認識装置を適用してもよい。この表示装置では、再生データを被写体検出処理のデータとし、被写体認識が行われることとなる。この表示装置におけるマイクロコントローラなどの制御部は、被写体認識された被写体の情報（画像中の被写体の位置、大きさ、被写体ＩＤなど）に基づいて、画像を表示する際の表示条件を制御する。具体的には、画像中の被写体の位置に枠や被写体IDなどの被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じた表示画像の輝度や色合いなどの制御を行う。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims

時系列的に供給された画像に含まれる被写体を認識する被写体認識装置であって、
第１の特定の被写体を認識するための特徴データを含む辞書データと、前記第１の特定の被写体以外の第２の特定の被写体を認識するための特徴データを前記辞書データに移行する前に一時的に含む仮辞書データと、を保持する辞書データベースと、
前記画像の一連のフレームの各々において被写体を検出する検出手段と、
前記検出手段により検出された被写体ごとに、前記検出手段による検出の結果に基づいて、当該被写体を前記画像の一連のフレームにわたり追跡する追跡手段と、
前記検出手段により検出された被写体ごとに、当該被写体の特徴データを抽出し、該抽出された特徴データを前記辞書データベースに保持された特徴データと比較することで当該被写体の認識を行う認識手段と、
前記抽出された特徴データを、前記辞書データベースにおける前記辞書データ又は前記仮辞書データに登録する登録手段と、
を有し、
前記登録手段は、
前記認識手段により前記辞書データ及び前記仮辞書データを用いて認識が得られなかった被写体については、前記追跡手段の追跡結果に基づいて求められる重要度が所定値以上の場合には、当該被写体の特徴データを前記仮辞書データに登録し、
前記認識手段は、
前記抽出された特徴データを前記仮辞書データに登録されている特徴データと比較して、前記抽出された特徴データに係る被写体と前記仮辞書データにおける特徴データに係る被写体との類似度を示す認識評価値を算出し、
前記認識評価値に基づいて、当該被写体の特徴データを前記辞書データに移行する
ことを特徴とする被写体認識装置。
前記認識手段は、前記抽出された特徴データを前記辞書データに登録されている特徴データと比較し、前記抽出された特徴データに係る被写体と前記辞書データにおける特徴データに係る被写体との類似度を算出し、該類似度が閾値以上である場合に、前記抽出された特徴データに係る被写体を前記辞書データに登録された被写体として認識することを特徴とする請求項１に記載の被写体認識装置。
前記認識手段は、前記抽出された特徴データに係る被写体を前記辞書データに登録された被写体として認識しなかった場合に、前記抽出された特徴データを前記仮辞書データに登録されている特徴データと比較して前記認識評価値を算出することを特徴とする請求項２に記載の被写体認識装置。
前記重要度は、前記被写体が前記追跡手段により追跡された継続時間長を示す値であることを特徴とする請求項１乃至３のいずれか１項に記載の被写体認識装置。
前記検出手段は、検出した複数の被写体の中から主被写体を選択するものであって、
前記重要度は、前記主被写体として前記追跡手段により追跡された継続時間長、あるいは、前記追跡手段により追跡されている間に前記主被写体として選択された回数を示す値であることを特徴とする請求項１乃至３のいずれか１項に記載の被写体認識装置。
前記認識手段は、前記認識評価値が閾値を超えた回数、所定時間内に前記認識評価値が閾値を超えた頻度、および、前記認識評価値の平均値の少なくともいずれかが所定値以上となったときに、当該被写体の特徴データを前記辞書データに移行することを特徴とする請求項１乃至５のいずれか１項に記載の被写体認識装置。
前記登録手段は、前記検出手段により前記画像の一連のフレームにおいて検出された被写体の数が所定数以上である場合は、それらの被写体については前記仮辞書データへの登録を行わないことを特徴とする請求項１乃至６のいずれか１項に記載の被写体認識装置。
前記登録手段は、前記認識評価値が更新されない期間が所定値以上となった場合は、当該被写体に係る仮辞書データを削除することを特徴とする請求項１乃至７のいずれか１項に記載の被写体認識装置。
撮像した画像を時系列的に供給する撮像手段と、
前記撮像手段により時系列的に供給された画像に含まれる被写体を認識する請求項１乃至８のいずれか１項に記載の被写体認識装置と、
前記撮像手段が撮像する際の撮像条件を、前記被写体認識装置による被写体の情報に応じて制御する制御手段と、
を有することを特徴とする撮像装置。
時系列的に供給される画像を表示する表示手段と、
請求項１乃至８のいずれか１項に記載の被写体認識装置と、
前記表示手段が画像を表示する際の表示条件を、前記被写体認識装置による被写体の情報に応じて制御する制御手段と、
を有することを特徴とする表示装置。
第１の特定の被写体を認識するための特徴データを含む辞書データと、前記第１の特定の被写体以外の第２の特定の被写体を認識するための特徴データを、前記辞書データに移行する前に一時的に含む仮辞書データと、を保持する辞書データベースを用いて、時系列的に供給された画像に含まれる被写体を認識する被写体認識装置の制御方法であって、
検出手段が、前記画像の一連のフレームの各々において被写体を検出する検出ステップと、
追跡手段が、前記検出ステップで検出された被写体ごとに、前記検出ステップでの検出の結果に基づいて、当該被写体を前記画像の一連のフレームにわたり追跡する追跡ステップと、
認識手段が、前記検出ステップで検出された被写体ごとに、当該被写体の特徴データを抽出し、該抽出された特徴データを前記辞書データベースに保持された特徴データと比較することで当該被写体の認識を行う認識ステップと、
登録手段が、前記抽出された特徴データを、前記辞書データベースにおける前記辞書データ又は前記仮辞書データに登録する登録ステップと、
を有し、
前記登録ステップでは、
前記認識ステップで前記辞書データ及び前記仮辞書データを用いて認識が得られなかった被写体については、前記追跡手段の追跡結果に基づいて求められる重要度が所定値以上の場合には、当該被写体の特徴データを前記仮辞書データに登録し、
前記認識ステップでは、
前記抽出された特徴データを前記仮辞書データに登録されている特徴データと比較して、前記抽出された特徴データに係る被写体と前記仮辞書データにおける特徴データに係る被写体との類似度を示す認識評価値を算出し、
前記認識評価値に基づいて、当該被写体の特徴データを前記辞書データに移行する
ことを特徴とする被写体認識装置の制御方法。
請求項１１に記載の被写体認識装置の制御方法における各ステップをコンピュータに実行させるためのプログラム。