JP6025557B2 - 画像認識装置、その制御方法及びプログラム - Google Patents

画像認識装置、その制御方法及びプログラム Download PDF

Info

Publication number
JP6025557B2
JP6025557B2 JP2012286018A JP2012286018A JP6025557B2 JP 6025557 B2 JP6025557 B2 JP 6025557B2 JP 2012286018 A JP2012286018 A JP 2012286018A JP 2012286018 A JP2012286018 A JP 2012286018A JP 6025557 B2 JP6025557 B2 JP 6025557B2
Authority
JP
Japan
Prior art keywords
subject
recognition
image
tracking
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012286018A
Other languages
English (en)
Other versions
JP2014128003A (ja
Inventor
良介 辻
良介 辻
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to JP2012286018A priority Critical patent/JP6025557B2/ja
Publication of JP2014128003A publication Critical patent/JP2014128003A/ja
Application granted granted Critical
Publication of JP6025557B2 publication Critical patent/JP6025557B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00288Classification, e.g. identification
    • G06K9/00295Classification, e.g. identification of unknown faces, i.e. recognising the same non-enrolled faces, e.g. recognising the unknown faces across different face tracks
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00288Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23218Control of camera operation based on recognized objects
    • H04N5/23219Control of camera operation based on recognized objects where the recognized objects include parts of the human body, e.g. human faces, facial parts or facial expressions

Description

本発明は、画像に含まれる被写体を認識する画像認識装置、その制御方法及びプログラムに関する。
近年、画像中に含まれる特定の被写体を認識する被写体認識機能を備える撮像装置が提案されている。被写体認識機能を有することにより、認識された被写体に対してフォーカスや露出を優先的に制御することが可能となる。被写体認識機能を備える撮像装置は、撮影して得られた画像から、被写体が含まれる被写体領域を検出し、検出した被写体領域の画像から、その被写体領域を被認識対象として識別するための特徴情報を抽出する。そして、抽出した特徴情報と予め辞書データとして登録された登録済被写体の特徴情報とを比較し、この比較により得られる類似度に基づき、被認識対象の被写体がどの登録済被写体であるか、又は該当する登録済被写体がいないかの認識を行う。また、被写体領域として人物の顔を検出して、検出した顔の特徴情報を抽出し、その顔が誰の顔であるかを判定することで個人認識を行うシステムが開示されている(例えば、特許文献1参照)。なお、本明細書では検出された顔等の画像について、それが誰の(どの)ものであるかを識別する処理を認識又は認証と称する。
特開2003−187352号公報
前述したような被写体認識の精度は、例えば被写体領域として顔を検出する場合には、顔領域の表情や向きといった状態によって影響を受ける。そのため、被認識対象の顔領域と辞書データとして登録されている顔領域の状態が異なると、個人認識の精度が劣化してしまう場合がある。したがって、被認識対象の顔領域の状態によっては、正確な個人認識の結果が期待できないことがある。ここで、撮像装置が、逐次撮像した画像を時系列的に供給する撮像手段を有していれば、被写体追跡技術を用いて、被認識対象がどの登録済被写体であるかが確定した状態を画像間で引き継ぐことにより、安定に認識確定状態を維持することが可能となる。しかしながら、被写体追跡において追跡の失敗が発生した場合には、異なる被写体に認識確定状態が引き継がれてしまい、その異なる被写体が登録済被写体であると認識された状態になる。
本発明は、前述した課題に鑑みてなされたものであり、撮影された被写体の認識確定状態を被写体追跡により画像間で引き継ぐことで認識確定状態を安定化するとともに、異なる被写体に認識確定状態が引き継がれることを防止することを目的とする。
本発明に係る画像認識装置は、時系列に供給される画像から特定の被写体を認識する画像認識装置であって、前記特定の被写体に関する特徴情報を記憶する記憶部と、供給される前記画像から被写体領域を検出する被写体検出手段と、前記被写体検出手段により検出された前記被写体領域の画像から特徴情報を抽出し、前記記憶部に記憶されている前記特定の被写体の特徴情報と比較して類似度を算出し、算出した前記類似度に基づいて被写体認識を行う被写体認識手段と、前記被写体検出手段により検出された前記被写体領域に含まれる被写体を時系列に供給される画像において追跡する被写体追跡手段と、前記被写体追跡手段による被写体追跡の信頼性を判定する信頼性判定手段とを有し、前記被写体認識手段により算出した前記類似度が所定の閾値以上の場合には、前記被写体領域に含まれる被写体を前記記憶部に記憶されている前記特定の被写体であると判定して認識確定状態とし、前記認識確定状態を前記被写体追跡手段による被写体追跡によって時系列に供給される画像間で引き継ぎ、前記被写体追跡の信頼性が低く、かつ前記被写体認識手段により算出した前記類似度が所定の閾値未満の場合には、引き継がれている前記認識確定状態を、前記被写体領域に含まれる被写体が前記特定の被写体であると判定されていない認識未確定状態にすることを特徴とする。
本発明によれば、被写体の認識確定状態を被写体追跡によって画像間で引き継ぎ認識確定状態を安定化するとともに、異なる被写体に認識確定状態が引き継がれてしまうことを防止することができる。
本発明の実施形態に係る撮像装置の構成例を示す図である。 本実施形態における被写体認識の状態遷移を示す図である。 本実施形態に係る撮像装置の処理の一例を示すフローチャートである。 本実施形態における被写体認識の処理を示すフローチャートである。 本実施形態における被写体認識の処理結果の例を示す図である。 本発明の実施形態に係る画像認識装置を実現可能なコンピュータ機能を示す図である。
以下、本発明の実施形態を図面に基づいて説明する。
図1は、本発明の一実施形態に係る画像認識装置を有する撮像装置100の概略構成例を示すブロック図である。撮像装置100は、撮影して得られた画像から被写体領域として特定の部位が含まれる領域を検出し、検出した被写体領域の画像の特徴情報を抽出して、特徴情報を基に被写体の認識を行う機能を有する。本実施形態では、撮影して得られた画像から被写体領域として人物の顔を検出し、検出した顔の特徴情報を抽出して、その顔が誰の顔であるかを識別する個人認識を行う機能を有する撮像装置100を例として示す。
撮像装置100において、被写体像を表す光は、撮像レンズを含む撮像光学系101によって集光され、撮像素子102に入射する。撮像素子102は、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。撮像素子102は、光電変換素子をそれぞれ有する複数の画素を有し、入射する光の強度に応じた電気信号を画素単位で出力する。つまり、撮像素子102から出力される電気信号は、撮像素子102が入射される被写体像を表す光を光電変換したものであり、撮像素子102で撮像された被写体像を含む画像を示すアナログの画像信号である。
アナログ信号処理部103は、撮像素子102から出力された画像信号に対して相関二重サンプリング(CDS)等のアナログ信号処理を施す。A/D(アナログ/デジタル)変換部104は、アナログ信号処理部103から出力されたアナログの画像信号をデジタルデータの形式に変換する。A/D変換部104によって変換されたデジタル形式の画像信号は、撮影制御部105及び画像処理部106に入力される。
画像処理部106は、入力されたデジタル形式の画像信号に対して、ガンマ補正やホワイトバランス処理等の画像処理を施す。なお、画像処理部106は、通常の画像処理に加え、後述する被写体検出部109や被写体認識部112から供給される画像中の特定の被写体領域に関する情報を用いた画像処理を行う機能を有する。
表示部107は、例えばLCD(Liquid Crystal Display)や有機EL(electroluminescence)ディスプレイであり、画像処理部106から供給される画像信号に基づいて画像を表示する。撮像装置100は、撮像素子102で時系列的に逐次撮像した画像を表示部107に表示させることで、表示部107を電子ビューファインダ(EVF)として機能させることができる。また、画像処理部106から出力された画像信号は、記録媒体108に記録可能である。記録媒体108は、例えば撮像装置100に着脱可能なメモリカードである。なお、画像信号の記録先は、撮像装置100に内蔵されたメモリであっても良いし、撮像装置100と通信可能に接続された外部装置であっても良い。
被写体検出部109は、画像処理部106から画像信号が供給され、画像中の目的とする被写体を検出して被写体の数及び被写体領域を特定する。前述したように、本実施形態において目的とする被写体は人物の顔であり、その検出方法としては公知の顔検出方法を適用すれば良い。顔検出に係る公知技術には、例えば顔に関する知識(肌色情報、目・鼻・口などのパーツ)を利用する方法やニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。また、顔検出では、検出精度を向上させるために複数の顔検出方法を組み合わせて顔検出を行うのが一般的である。例えば、特開2002−251380号公報に記載のようにウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。被写体検出部109により出力される検出データとしては、例えば検出した被写体のそれぞれについての位置、大きさ、傾き、検出結果の信頼度等がある。なお、被写体検出部109における顔検出において、正面顔や横顔などの顔の向きに応じた複数の識別器を用いて検出を行う場合には、検出に用いた識別器を判別することにより、顔の向きを検出データとして出力することが可能となる。
動画のような複数のフレームを含む画像において、ある一定周期のフレーム毎に被写体検出部109により目的とする被写体の検出処理が行われる。被写体追跡部110は、あるフレームで検出された被写体領域と、別のフレームで検出された、どの被写体領域が同一の被写体の領域であるかを判定することによって、画像に含まれる被写体を追跡する。例えば、被写体追跡部110は、時系列的に順次供給されるフレームの各画像データから検出された被写体において、それぞれの大きさと位置とが類似するものを同一の被写体であるとみなす。撮像装置100は、被写体追跡部110により被写体の追跡を行うことで、後述する被写体認識部112の結果を、画像間(フレーム間)で時間軸方向に引き継ぐことが可能となる。
追跡信頼性判定部111は、被写体追跡部110による被写体追跡の信頼性を判定する。前述したように、被写体追跡部110は、時系列的に順次供給されるフレームの各画像データから検出された被写体の大きさ及び位置の類似性に基づいて被写体の追跡を行う。この追跡方法を用いる本実施形態では、追跡信頼性判定部111は、被写体検出部109により検出される複数の被写体領域が密に分布していれば、被写体追跡部110による被写体追跡の信頼性が低いと判定する。一方、被写体検出部109により検出される複数の被写体領域が疎に分布していれば、被写体追跡部110による被写体追跡の信頼性が高いと判定する。なお、被写体追跡部110による被写体追跡の方法が、テンプレートマッチング等の画像のパターンマッチングに基づく方法であれば、追跡信頼性判定部111は、追跡の評価値である差分和や正規化相関の値により、被写体追跡の信頼性を判定すれば良い。
被写体認識部112は、被写体検出部109により検出された被写体領域に含まれる被写体が、特定の被写体であるか否かを識別する被写体認識処理を行う。被写体認識部112は、被写体検出部109によって検出された被写体領域の画像(被写体画像)から、その被写体領域を被認識対象として識別するための特徴情報を抽出する。そして、被写体認識部112は、抽出した特徴情報と予め辞書データとして記憶部113に登録されている被写体(登録済被写体)の画像の特徴情報とを比較して、類似度を算出する。被写体認識部112は、特徴情報を比較することで得られた類似度に基づいて、被認識対象の被写体がどの登録済被写体であるか、又は該当する登録済被写体が存在しないかの認識を行う。
例えば、被写体認識部112は、類似度に対して所定の閾値を設け、算出した類似度が所定の閾値以上である場合には、被認識対象の被写体が辞書データに登録されている登録済被写体であると判定する。ここで、被認識対象の被写体が辞書データに登録されている登録済被写体として判定されている状態を認識確定状態とし、被認識対象の被写体が何れの登録済被写体としても判定されていない(該当する登録済被写体が存在しない)状態を認識未確定状態とする。撮像装置100において、認識確定状態は、被写体追跡部110による被写体追跡によって時間軸方向に引き継がれる。また、被写体追跡部110によって認識確定状態が引き継がれている被写体において、被写体認識部112による類似度が所定の閾値未満かつ追跡信頼性判定部111による信頼性が低いと判定された場合には、認識確定状態を認識未確定状態とする。図2に、本実施形態における被写体認識の状態遷移を示す。
記憶部113には、辞書データとして特定の被写体(登録済被写体)の特徴情報が、当該被写体(登録済被写体)に関連付けられて登録されている。特徴情報は、例えば特定の被写体(登録済被写体)の画像もしくは被写体認識用の画像の特徴量である。記憶部113に辞書データとして登録される被写体の数は複数であってもよい。また、同じ被写体のデータを記憶部113に辞書データとして複数登録することができるようにしても良い。
撮影制御部105は、A/D変換部104から出力された画像信号に基づいて、撮像光学系101の図示しない焦点制御機構や露出制御機構を制御する。なお、撮影制御部105は、この焦点制御機構や露出制御機構の制御に、被写体検出部109や被写体認識部112から供給された、目的とする被写体領域の抽出結果を示す情報を用いることが可能である。したがって、撮像装置100は、撮像画像における特定の被写体領域の情報を考慮した撮像条件で撮影処理を行う機能を有する。また、撮影制御部105は、撮像素子102の出力タイミングや出力画素等の制御も行う。ここで、図1に示した構成において、例えば画像処理部106、被写体検出部109、被写体追跡部110、被写体信頼性判定部111、被写体認識部112、及び記憶部113により、本実施形態に係る画像認識装置としての機能が実現される。
本実施形態に係る撮像装置100での被写体認識を中心とした処理の流れについて図3を参照して説明する。画像処理部106は、撮像素子102を介して得られた撮像画像をA/D変換部104によりデジタル化して得られた画像を入力画像として読み込む(S301)。次に、被写体検出部109は、入力画像から被写体領域を検出し、検出データを出力する(S302)。被写体検出部109による検出データとして、検出結果の個数及び各検出結果の画像中の位置、大きさ、向き、検出結果の信頼度等が得られる。
被写体追跡部110は、被写体検出部109により検出された被写体領域のそれぞれについて、時系列的に順次供給されるフレーム間における同一被写体の判定を行う(S303)。被写体追跡部110は、例えば、被写体検出部109が検出した各被写体領域について、時系列で供給されるフレーム間において検出データとして得られる被写体領域の位置及び大きさの類似度が所定の基準を満たす場合には、当該被写体を同じ被写体と判定する。また、時系列で供給されるフレーム間において、検出データとして得られる被写体領域の位置及び大きさの類似度が所定の基準を満たす被写体領域が存在しない場合には、当該被写体を新規に出現した被写体としてみなす。この被写体追跡部110の処理により、各被写体において過去のフレームにおける状態を引き継ぐことができる。
次に、追跡信頼性判定部111は、各被写体に対する追跡の信頼性の判定を行う(S304)。本実施形態では被写体の追跡方法が、フレーム間の検出データの類似性に基づいているため、被写体領域が密に分布している場合には、異なる被写体を同一の被写体として誤って判定する可能が高くなる。一方で、被写体領域が疎に分布している場合には、異なる被写体を同一の被写体として誤って判定する可能は低い。そこで、追跡信頼性判定部111は、検出された被写体領域が密に分布している場合には、信頼性が低いと判定し、検出された被写体領域が疎に分布している場合には、信頼性が高いと判定する。
次に、被写体認識部112は、被写体検出部109により検出された被写体領域に含まれる被写体が辞書データ113として記憶部113に登録されている被写体(登録済被写体)であるかを認識する(S305)。このステップS305での被写体認識処理の詳細については後述する。撮像装置100は、ステップS301からステップS305までの処理を、時系列的に逐次供給される撮像画像に対してそれぞれ実施する。このようにして、撮像装置100は、被認識対象の被写体についての過去に確定した認識結果を被写体追跡により画像間で引き継ぐことにより、認識結果の安定性を向上させることができる。
図3に示したステップS305での被写体認識部112による被写体認識処理の流れについて図4を参照して説明する。図4に示す被写体認識処理は、各被写体に対して実施される。まず、被写体認識部112は、処理対象の被写体領域に含まれる被写体が認識確定状態であるか否かを判定する(S401)。判定の結果、認識確定状態でなければ(S401でNOと判定)、被写体認識部112は認識処理を行う(S402)。ここで、認識処理とは、処理対象の被写体の特徴データを抽出し、記憶部113に記憶されている登録済被写体の特徴データと比較して類似度を算出する処理を示す。なお、記憶部113に複数の被写体が記憶されていれば、それぞれの被写体に対する類似度が算出される。
算出された類似度が所定の閾値(第1の閾値)以上であれば(S403でYESと判定)、被写体認識部112は、処理対象の被写体を記憶部113に記憶されている登録済被写体と同一の人物であると判断し、認識確定状態とする(S404)。なお、類似度が所定の閾値以上となる記憶部113に記憶されている登録済被写体が複数ある場合には、被写体認識部112は、最も類似度が高い登録済被写体を処理対象の被写体として判定する。また、算出された類似度が所定の閾値未満であれば(S403でNOと判定)、被写体認識部112は、状態を認識未確定状態のままにして、当該被写体に対しての処理を終了する。
ステップS401での判定の結果、処理対象の被写体が認識確定状態であれば(S401でYESと判定)、被写体認識部112は、追跡信頼性判定部111による信頼性の判定結果に基づいて判定を行う(S405)。被写体追跡の信頼性が低い場合には(S405でYESと判定)、被写体認識部112は認識処理を行う(S406)。ここでの認識処理とは、ステップS402と同様に、処理対象の被写体の特徴データを抽出し、記憶部113に記憶されている登録済被写体の特徴データと比較して類似度を算出する。
ただし、ステップS402では、記憶部113に記憶されているすべての登録済被写体における類似度を算出するのに対して、ステップS406では、処理対象の被写体を認識確定状態とした記憶部113に記憶されている登録済被写体のみの類似度を算出する。これは、類似度算出の目的の違いである。ステップS402での処理は、被認識対象の被写体とすべて(N個)の登録済被写体とについての1対Nの識別処理であり、被認識対象がどの人物であるかを判定するための処理である。それに対して、ステップS406での処理は、被認識対象の被写体と過去に確定されている1つの登録済被写体とについての1対1の照合処理であり、被認識対象の被写体と特定の登録済被写体が同一の人物であるかを判定するための処理である。つまり、認識状態に応じて認識処理の方法が異なることとなる。なお、ステップS402において、登録済被写体が幾つかのグループに分けられている場合には、選択されたグループに含まれる複数の登録済被写体のみを用いて識別処理を行うようにしてもよい。
ステップS406において算出された類似度が所定の閾値(第2の閾値)未満であれば(S407でYESと判定)、被写体認識部112は、処理対象の被写体を認識確定状態から認識未確定状態に変更する(S408)。一方、算出された類似度が所定の閾値以上であれば(S407でNOと判定)、被写体認識部112は、状態を認識確定状態のままにして、当該被写体に対しての処理を終了する。
また、ステップS405での判定の結果、被写体追跡の信頼性が高いと判定されれば(S405でNOと判定)、被写体認識部112は認識状態の変更を行わずに引き継いでいる認識確定状態のままとする。このようにすることで、ステップS402やS406のような認識処理を実施しないため、処理負荷の軽減や処理の効率化につながる。
本実施形態における被写体認識の効果に関して、図5を参照して説明する。図5(a)には、被写体追跡の信頼性が低く、かつ認識処理の類似度が低い場合に、処理対象の被写体を認識未確定状態にする処理を実施しない場合の結果例を示している。また、図5(b)には、被写体追跡の信頼性が低く、かつ認識処理の類似度が低い場合に、処理対象の被写体を認識未確定状態にする処理を実施する場合の結果例を示している。つまり、図5(b)に示す結果例が、本実施形態における処理の結果を示すこととなる。
図5(a)に示す501〜506、及び図5(b)に示す507〜512は、時系列的に逐次供給される画像を模式図的に表現したものである。図中の顔を囲む点線枠は認識未確定状態を示す。また、図中の顔を囲む実線枠は認識確定状態を示し、その上部の文字列は確定した登録済被写体の被写体情報を示す。
ここでは、被写体Aが記憶部113に登録済被写体として記憶されており、被写体Bは記憶されていない(登録済被写体ではない)ものとする。被写体認識の精度は、顔領域の表情や向き、照明条件といった状態によって影響を受けるため、被認識対象の顔領域と記憶部113に登録されている顔領域の状態とが異なる場合には、正しく認識できないことがある。つまり、被認識対象の被写体と登録済被写体とが同一の人物であるにもかかわらず、低い類似度が出力される。例えば、記憶部113には、被写体Aの顔が正面向きの状態が登録されており、被認識対象の顔が横向きの場合には、個人によらず、低い類似度が出力されるものとする。また、被認識対象の顔が正面向きの場合には、同一の人物であれば(被認識対象が被写体Aであれば)、類似度が高く、異なる人物であれば(被認識対象が被写体Bであれば)、類似度が低く出力されるものとする。
画像501では、被写体Aの顔は横向きであるために正しく認識できず認識未確定状態であることを示す。画像502では、被写体Aの顔は正面向きとなったため、正しく認識でき認識確定状態となったことを示す。画像503では、被写体Aの顔は横向きであるが認識確定状態であることを示す。これは、認識処理による類似度で判断したのではなく、被写体追跡により前フレームの結果を引き継いだことにより、認識確定状態を維持している。また、画像501から画像503では、被写体Aと被写体Bの距離は離れており、被写体領域の検出状況は疎であることから、被写体追跡の信頼性は高いと判定されている。
画像504では、被写体Aと被写体Bの距離が近く、被写体領域の検出状況は密であることから、被写体追跡の信頼性は低いと判定される。ただし、被写体Aの顔は正面向きであり、高い類似度が得られるため、認識確定状態を維持できている。画像504から画像505において、被写体Aと被写体Bは交差し、画像505では被写体追跡の失敗により、誤って認識確定状態を被写体Bに引き継いでいる例を示す。この誤った認識確定状態の引き継ぎは継続されるため、画像506でも誤った認識結果となる。
次に、図5(b)に示す本実施形態における処理を適用した結果例に関して説明する。なお、画像507から画像510の説明は、前述した画像501から画像504と同様であるため省略する。画像510から画像511において、被写体Aと被写体Bは交差し、被写体追跡の失敗が発生している。つまり、被写体Bに対して被写体Aとの認識確定状態が引き継がれる。ただし、画像511では、被写体Aと被写体Bの距離が近く、被写体領域の検出状況は密であることから、被写体追跡の信頼性は低いと判定される。また、認識処理によって算出される類似度は、異なる被写体であることから低い値が得られる。したがって、処理対象の被写体を認識確定状態から認識未確定状態にする処理が実行される。そのため、画像511では、誤った認識状態の引き継ぎは実施されない。画像512では、被写体Aの顔は正面向きであり、正しい認識結果が得られ再度認識確定状態に復帰した例を示す。
以上のように、本実施形態によれば、処理対象の被写体の認識確定状態を被写体追跡により引き継ぐことにより認識確定状態を安定化するとともに、異なる被写体に認識確定状態が引き継がれてしまうことを防ぐことができる。
(本発明の他の実施形態)
以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。その例を以下に示す。
前述した実施形態では、被写体認識を行う画像認識装置を撮像装置に適用した場合を例示したが、画像認識装置を適用する機器は撮像装置に限定しない。例えば、外部機器や記録媒体などから逐次供給される画像(再生データ)を表示する表示装置に被写体認識を行う画像認識装置を適用しても良い。この表示装置では、再生データを被写体検出処理のデータとして被写体認識が行われることとなる。この表示装置におけるマイクロコントローラなどの制御部は、被写体認識された被写体の情報(画像中の被写体の位置、大きさ、被写体IDなど)に基づいて、画像を表示する際の表示条件を制御する。具体的には、画像中の被写体の位置に枠や被写体IDなどの被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じた表示画像の輝度や色合いなどの制御を行う。
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
例えば、前述の実施形態に示した画像認識装置は、図6に示すようなコンピュータ機能600を有し、そのCPU601により前述した実施形態での動作が実施される。
コンピュータ機能600は、図6に示すように、CPU601と、ROM602と、RAM603とを備える。また、操作部(CONS)609のコントローラ(CONSC)605と、LCD等の表示部としてのディスプレイ(DISP)610のディスプレイコントローラ(DISPC)606とを備える。さらに、ハードディスク(HD)611、及びフレキシブルディスク等の記憶デバイス(STD)612のコントローラ(DCONT)607と、ネットワークインタフェースカード(NIC)608とを備える。それら機能部601、602、603、605、606、607、608は、システムバス604を介して互いに通信可能に接続された構成としている。
CPU601は、ROM602又はHD611に記憶されたソフトウェア、又はSTD612より供給されるソフトウェアを実行することで、システムバス604に接続された各構成部を総括的に制御する。すなわち、CPU601は、前述したような動作を行うための処理プログラムを、ROM602、HD611、又はSTD612から読み出して実行することで、前述した実施形態での動作を実現するための制御を行う。RAM603は、CPU601の主メモリ又はワークエリア等として機能する。
CONSC605は、CONS609からの指示入力を制御する。DISPC606は、DISP610の表示を制御する。DCONT607は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び前述した実施形態における前記処理プログラム等を記憶するHD611及びSTD612とのアクセスを制御する。NIC608はネットワーク613上の他の装置と双方向にデータをやりとりする。
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
101:撮像光学系 102:撮像素子 103:アナログ信号処理部 104:A/D変換部 105:撮影制御部 106:画像処理部 109:被写体検出部 110:被写体追跡部 111:追跡信頼性判定部 112:被写体認識部 113:記憶部

Claims (8)

  1. 時系列に供給される画像から特定の被写体を認識する画像認識装置であって、
    前記特定の被写体に関する特徴情報を記憶する記憶部と、
    供給される前記画像から被写体領域を検出する被写体検出手段と、
    前記被写体検出手段により検出された前記被写体領域の画像から特徴情報を抽出し、前記記憶部に記憶されている前記特定の被写体の特徴情報と比較して類似度を算出し、算出した前記類似度に基づいて被写体認識を行う被写体認識手段と、
    前記被写体検出手段により検出された前記被写体領域に含まれる被写体を時系列に供給される画像において追跡する被写体追跡手段と、
    前記被写体追跡手段による被写体追跡の信頼性を判定する信頼性判定手段とを有し、
    前記被写体認識手段により算出した前記類似度が所定の閾値以上の場合には、前記被写体領域に含まれる被写体を前記記憶部に記憶されている前記特定の被写体であると判定して認識確定状態とし、前記認識確定状態を前記被写体追跡手段による被写体追跡によって時系列に供給される画像間で引き継ぎ、
    前記被写体追跡の信頼性が低く、かつ前記被写体認識手段により算出した前記類似度が所定の閾値未満の場合には、引き継がれている前記認識確定状態を、前記被写体領域に含まれる被写体が前記特定の被写体であると判定されていない認識未確定状態にすることを特徴とする画像認識装置。
  2. 前記被写体認識手段は、前記被写体追跡の信頼性が高い場合には、前記被写体追跡によって前記認識確定状態を引き継いでいる被写体に対する被写体認識を実行しないことを特徴とする請求項1記載の画像認識装置。
  3. 前記信頼性判定手段は、前記被写体検出手段により検出された複数の前記被写体領域が密に分布している場合には前記被写体追跡の信頼性が低いと判定し、前記被写体検出手段により検出された複数の前記被写体領域が疎に分布している場合には前記被写体追跡の信頼性が高いと判定することを特徴とする請求項1又は2記載の画像認識装置。
  4. 前記被写体認識手段は、
    前記被写体追跡によって前記認識確定状態が引き継がれていない被写体に対しては、前記記憶部に記憶されている複数の被写体との類似度をそれぞれ算出し、
    前記被写体追跡によって前記認識確定状態が引き継がれている被写体に対しては、前記記憶部に記憶されている被写体のうち、認識確定状態とされた被写体との類似度を算出することを特徴とする請求項1〜3の何れか1項に記載の画像認識装置。
  5. 撮像した画像を時系列に供給する撮像手段と、
    請求項1〜4の何れか1項に記載の画像認識装置と、
    前記撮像手段での撮像条件を、前記画像認識装置により得られる被写体の情報に応じて制御する制御手段とを備えることを特徴とする撮像装置。
  6. 時系列に供給される画像を表示する表示手段と、
    請求項1〜4の何れか1項に記載の画像認識装置と、
    前記表示手段での画像の表示条件を、前記画像認識装置により得られる被写体の情報に応じて制御する制御手段とを備えることを特徴とする表示装置。
  7. 時系列に供給される画像から、記憶部に特徴情報が記憶されている特定の被写体を認識する画像認識装置の制御方法であって、
    供給される前記画像から被写体領域を検出する被写体検出工程と、
    前記被写体検出工程にて検出された前記被写体領域の画像から特徴情報を抽出し、前記記憶部に記憶されている前記特定の被写体の特徴情報と比較して類似度を算出し、算出した前記類似度に基づいて被写体認識を行う被写体認識工程と、
    前記被写体検出工程にて検出された前記被写体領域に含まれる被写体を時系列に供給される画像において追跡する被写体追跡工程と、
    前記被写体追跡工程での被写体追跡の信頼性を判定する信頼性判定工程とを有し、
    前記被写体認識工程にて算出した前記類似度が所定の閾値以上の場合には、前記被写体領域に含まれる被写体を前記記憶部に記憶されている前記特定の被写体であると判定して認識確定状態とし、前記認識確定状態を前記被写体追跡工程での被写体追跡によって時系列に供給される画像間で引き継ぎ、
    前記被写体追跡の信頼性が低く、かつ前記被写体認識工程にて算出した前記類似度が所定の閾値未満の場合には、引き継がれている前記認識確定状態を、前記被写体領域に含まれる被写体が前記特定の被写体であると判定されていない認識未確定状態にすることを特徴とする画像認識装置の制御方法。
  8. 時系列に供給される画像から、記憶部に特徴情報が記憶されている特定の被写体を認識する画像認識装置の制御方法をコンピュータに実行させるためのプログラムであって、
    供給される前記画像から被写体領域を検出する被写体検出ステップと、
    前記被写体検出ステップにて検出された前記被写体領域の画像から特徴情報を抽出し、前記記憶部に記憶されている前記特定の被写体の特徴情報と比較して類似度を算出し、算出した前記類似度に基づいて被写体認識を行う被写体認識ステップと、
    前記被写体検出ステップにて検出された前記被写体領域に含まれる被写体を時系列に供給される画像において追跡する被写体追跡ステップと、
    前記被写体追跡ステップでの被写体追跡の信頼性を判定する信頼性判定ステップとをコンピュータに実行させ、
    前記被写体認識ステップにて算出した前記類似度が所定の閾値以上の場合には、前記被写体領域に含まれる被写体を前記記憶部に記憶されている前記特定の被写体であると判定して認識確定状態とし、前記認識確定状態を前記被写体追跡ステップでの被写体追跡によって時系列に供給される画像間で引き継ぎ、
    前記被写体追跡の信頼性が低く、かつ前記被写体認識ステップにて算出した前記類似度が所定の閾値未満の場合には、引き継がれている前記認識確定状態を、前記被写体領域に含まれる被写体が前記特定の被写体であると判定されていない認識未確定状態にする処理をコンピュータに実行させるためのプログラム。
JP2012286018A 2012-12-27 2012-12-27 画像認識装置、その制御方法及びプログラム Active JP6025557B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012286018A JP6025557B2 (ja) 2012-12-27 2012-12-27 画像認識装置、その制御方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012286018A JP6025557B2 (ja) 2012-12-27 2012-12-27 画像認識装置、その制御方法及びプログラム
US14/141,017 US9524423B2 (en) 2012-12-27 2013-12-26 Image recognition apparatus, control method, and program of the same

Publications (2)

Publication Number Publication Date
JP2014128003A JP2014128003A (ja) 2014-07-07
JP6025557B2 true JP6025557B2 (ja) 2016-11-16

Family

ID=51016774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012286018A Active JP6025557B2 (ja) 2012-12-27 2012-12-27 画像認識装置、その制御方法及びプログラム

Country Status (2)

Country Link
US (1) US9524423B2 (ja)
JP (1) JP6025557B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6381368B2 (ja) * 2014-08-26 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10127439B2 (en) 2015-01-15 2018-11-13 Samsung Electronics Co., Ltd. Object recognition method and apparatus
EP3355269A4 (en) 2015-09-14 2019-05-08 Hitachi Kokusai Electric Inc. SYSTEM FOR THE DETECTION OF A PARTICULAR PERSON AND METHOD FOR THE DETECTION OF A PARTICULAR PERSON
JP6747176B2 (ja) * 2016-08-25 2020-08-26 株式会社リコー 画像処理装置、撮影装置、プログラム、機器制御システム及び機器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002251380A (ja) 2001-02-22 2002-09-06 Omron Corp 利用者照合システム
JP2003187352A (ja) 2001-12-14 2003-07-04 Nippon Signal Co Ltd:The 特定人物検出システム
JP4594945B2 (ja) * 2007-02-13 2010-12-08 株式会社東芝 人物検索装置および人物検索方法
JP5127692B2 (ja) * 2008-12-25 2013-01-23 キヤノン株式会社 撮像装置及びその追尾方法
JP2011159030A (ja) * 2010-01-29 2011-08-18 Canon Inc 被写体認証装置、被写体認証方法及びプログラム
JP5567853B2 (ja) * 2010-02-10 2014-08-06 キヤノン株式会社 画像認識装置および方法

Also Published As

Publication number Publication date
US20140184812A1 (en) 2014-07-03
US9524423B2 (en) 2016-12-20
JP2014128003A (ja) 2014-07-07

Similar Documents

Publication Publication Date Title
JP5567853B2 (ja) 画像認識装置および方法
US8314854B2 (en) Apparatus and method for image recognition of facial areas in photographic images from a digital camera
US8526742B2 (en) Image processing apparatus, method, and program that classifies data of images
CN102542254B (zh) 图像处理装置及图像处理方法
JP6025557B2 (ja) 画像認識装置、その制御方法及びプログラム
WO2014084249A1 (ja) 顔認証装置、認証方法とそのプログラム、情報機器
JP2013228930A (ja) 被写体領域検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
US20160189392A1 (en) Object tracking apparatus, control method therefor and storage medium
JP6157165B2 (ja) 視線検出装置及び撮像装置
JP6049448B2 (ja) 被写体領域追跡装置、その制御方法及びプログラム
JP2004199200A (ja) パターン認識装置、撮像装置、情報処理システム、パターン認識方法、記録媒体、及びプログラム
US10140503B2 (en) Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus
JP5374612B2 (ja) 画像データの識別方法及び撮像装置、プログラム、及び記憶媒体
JP5995610B2 (ja) 被写体認識装置及びその制御方法、撮像装置、表示装置、並びにプログラム
JP2013157675A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
JP2011159030A (ja) 被写体認証装置、被写体認証方法及びプログラム
JP2009130840A (ja) 撮像装置及びその制御方法及びプログラム
JP5247419B2 (ja) 撮像装置および被写体追跡方法
JPWO2020213166A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2012230647A (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161011

R151 Written notification of patent or utility model registration

Ref document number: 6025557

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151