JP5554987B2 - オブジェクト識別装置及びその制御方法 - Google Patents
オブジェクト識別装置及びその制御方法 Download PDFInfo
- Publication number
- JP5554987B2 JP5554987B2 JP2009298819A JP2009298819A JP5554987B2 JP 5554987 B2 JP5554987 B2 JP 5554987B2 JP 2009298819 A JP2009298819 A JP 2009298819A JP 2009298819 A JP2009298819 A JP 2009298819A JP 5554987 B2 JP5554987 B2 JP 5554987B2
- Authority
- JP
- Japan
- Prior art keywords
- registered
- unit
- identification
- image
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/50—Maintenance of biometric data or enrolment thereof
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Description
入力画像に含まれているオブジェクトが、予め登録された複数のクラスのいずれに属するか識別するオブジェクト識別装置であって、
入力画像の識別に用いられる複数の登録画像を登録してある登録手段と、
識別に使用する部分領域を指定する指定データを保持する保持手段と、
前記入力画像と前記複数の登録画像の各々から、前記指定データによって指定された部分領域の特徴量を抽出し、複数の教師画像を用いた学習によりパラメータが設定された標準型の識別器と、前記登録手段に登録された登録画像を用いてパラメータが設定されたクラスごとの適応型の識別器とを用いて、抽出された特徴量に基づいて前記入力画像が属するクラスを識別する識別手段と、
前記登録手段の登録内容を更新する登録更新手段と、
前記登録手段に登録されている前記複数の登録画像に関して、前記適応型の識別器を用いずに前記標準型の識別器を用いた識別率と、前記標準型の識別器及び前記適応型の識別器を用いた識別率との大きさの関係に基づいて、前記識別手段のパラメータの更新が必要か否かを判定する更新判定手段と、
前記更新判定手段により前記パラメータの更新が必要であると判定された場合に、前記登録手段に登録されている登録画像に基づいて、当該パラメータを更新する第1更新手段とを備える。
以下、図面を参照して本発明の実施形態を詳細に説明する。図1の(a)は、第1実施形態によるオブジェクト識別装置100の構成例を示すブロック図である。画像を入力する画像入力部1は、識別すべき画像データを供給する装置であればよく、特定の機器に限定されるものではない。すなわち、光学レンズと映像センサを備えた撮像装置でも構わないし、画像データが保持され読み出し可能な半導体メモリでもよい。
次に、図2を参照しながら、オブジェクト識別装置100が、画像からオブジェクトの識別を行う実際の処理について説明する。なお、以下では、識別するオブジェクトが人物の顔である場合について説明するが、本発明がこれに限るものでないことは、言うまでもない。
まず、図3を用いて、オブジェクト識別部4の構成を説明する。部分特徴量抽出部21は、画像入力部1から取得した入力画像と、登録画像記録部3から取得した登録画像に対して同じ処理を行い、オブジェクトの識別に必要な、入力画像と登録画像で対応する特徴量の抽出を行う。類似度計算部22は、部分特徴量抽出部21で得られた、入力画像と登録画像で対応する特徴量の類似度を算出する。識別部23は、類似度計算部22により求められた類似度から、登録画像が属するクラスに入力画像が属するかどうかを判断する。識別結果統合部24は、識別部23の判断結果を用いて、入力画像が属するクラスを最終的に判断する。このオブジェクト識別部4で行われる処理それぞれについては、後で詳しく説明する。
次に、部分特徴量抽出部21について図5を用いて説明する。部分特徴量抽出部21においては、入力画像および登録画像には同じ処理が施され、それぞれ対応する部分特徴量が抽出される。この実施形態では、オブジェクトが人物の顔である場合、典型的には部分特徴量として画像の部分領域を切り出し、所定の処理を施したものを特徴ベクトルとして抽出する。具体的には以下のようにすることができる。
次に、類似度計算部22について説明する。ここでは、入力画像と登録画像から抽出された特徴ベクトルと、部分特徴量抽出部21で使用した、部分領域ごとの重みを用いて、入力画像と登録画像の類似度を定める。類似度の定義は様々なものが考えられるが、ここでの一例として、登録画像と入力画像における同じ領域に対応する特徴ベクトル間での相関値(内積)を計算し、対応する部分領域の尤度をその相関値に乗じたものを成分とするベクトルを類似度ベクトルとする。この定義によれば、類似度ベクトルの次元数は、部分領域数と一致する。
次に、識別部23および識別結果統合部24について説明する。ここでは、入力画像が属する登録済みクラスを、上記の類似度計算処理で得られた類似度ベクトルから判別する。その方法として、類似度ベクトルを、画像内の同一クラスに属するオブジェクト間の変動を表すクラス(intra-class)と、異なるクラスに属するオブジェクト間の変動を表すクラス(extra-class)の2クラスに分類する。顔を例にあげて説明すれば、intra-classに属する類似度ベクトルとは、同一人物だが顔向きや照明条件が異なる2画像から得られた類似度ベクトルである。一方extra-classに属する類似度ベクトルとは、異なる2人物の画像から得られた類似度ベクトルである。以下、識別部23について説明する。
画像登録部5およびその処理について説明する。まず、画像登録部5の構成を図9を参照して説明する。登録画像更新部61は、登録画像記録部3における登録内容の更新(登録更新処理)を行う。すなわち、登録画像記録部3に対して、登録画像を新規に追加、既存の登録画像を削除、差し替えなどを行う。登録画像情報取得部62は、登録画像記録部3に保存されている画像についての諸々の情報を抽出、あるいは計算する。部分特徴評価部63と識別処理評価部65は、それぞれ特徴ベクトル生成用データと識別用データの更新判定を行う。部分特徴評価部63は、登録画像情報取得部62で取得した情報に基づき、部分領域の更新が必要か否かを判断する、更新判定を行う。この更新判定で更新が必要と判断されると、特徴ベクトル生成用データ更新部64は、登録画像情報取得部62から得られる情報を用いて適応型の部分領域を選び、部分特徴量抽出部21内の特徴ベクトル生成用データ保持部33の内容を更新する(第1更新処理)。同様に、識別処理評価部65は登録画像情報取得部62で取得した情報に基づき、識別部23の更新が必要か判断する。そして、更新が必要と判断されると、識別用データ更新部66は、登録画像情報取得部62から得られる情報を用いて適応型のSVM識別器のパラメータを設定しなおし、SVM識別器データ保持部42の内容を更新する(第2更新処理)。また、識別処理評価部65は登録画像情報取得部62で取得した情報に基づき、識別結果統合部24の内容の更新が必要か判断する。そして、更新が必要と判断されると、識別用データ更新部66は、登録画像情報取得部62から得られる情報を用いて統合用データ保持部52内のパラメータを設定しなおし、識別結果統合部24の内容を更新する。例えば、統合時における各識別器の重みが更新される。
図9における登録画像更新部61は、画像入力部1より取得される画像を登録画像記録部3に転送する、登録画像記録部3に保存されている画像を削除する、取得した画像で登録画像記録部3に保存されている画像を差し替える、の3つの処理いずれかを行う。どの処理をどの画像に対して行うかの指示は、外部インターフェイスやGUIなどを通じて行われるのがよい。画像入力部1より取得される画像には、属する登録済みクラスを示す識別子がインターフェイスを通じて付与されており、また、入力される画像は一度に1枚に限らず複数枚でもよい。
登録画像情報取得部62は、登録画像記録部3に保存されている画像それぞれについて、情報を算出・取得する。このとき、取得できる情報として、大きく分けて3種類ある。登録画像単体についての情報、クラスごとの登録画像についての統計情報、全登録画像についての統計情報である。
部分特徴評価部63は、以前に選んだ適応型の部分領域と、登録画像情報取得部62から取得できる情報に基づいて、適応型の部分領域を登録画像に基づいて更新すべきか判断する。判断の例として、登録画像の撮影日時或いは作成日時に基づく判断について説明する。識別すべきオブジェクトの性質によっては、時間経過によって外見が変化する場合がある。このような場合では、ある時点で取得した登録画像に基づいて選んだ適応型の部分領域が正しく識別に寄与しない可能性があるため、特徴ベクトル生成用データ更新処理の必要があると判断する。具体例としては、撮影されてからの時間が予め定められた日数を超過した登録画像が全体に対して所定の割合を上回る場合に、上記日数以内に撮影された登録画像のみで更新処理を行う判断ができる。同時に、このとき更新に用いることができる登録画像があらかじめ定められた数以下である場合に限っては、更新処理を実行しないなどの判断ができる。
特徴ベクトル生成用データ更新部64は、登録画像記録部3に保存されている登録画像と登録画像情報取得部62から取得できる情報を用いて、適応型の部分領域を選ぶ。例として、AdaBoostを用いた場合の手順について説明する。標準型の部分領域と適応型の部分領域の差異は、学習に用いるデータであり、手順はほぼ同一である。標準型の部分領域は教師データとして多様・多数の画像が与えられ、あらかじめ装置外でAdaBoost法が行われて選ばれる。適応型の部分領域は教師データとして登録画像が与えられ、装置内で逐次AdaBoost法が行われて選ばれる。なお、以下で説明するAdaBoostの処理は、概ね公知の技術に関するものなので、本発明の本質に関連する部分以外は、適宜説明を省略する。
n:全登録画像数
n[c] :登録済みクラスcに属する登録画像の数
Nstd:標準型の部分領域の数
Nadd:追加する適応型の部分領域の数
Ndel:不要とする標準型の部分領域の数
W:追加された部分領域に対する重み
ここでNstdは定数であり、適応型の部分領域の数Nadd、NdelについてはあらかじめNstd以下の初期値が与えられていることとする。また、適応型の部分領域の数Nadd、NdelがNstdの所定の割合を超えないよう、あらかじめ上限を設けておくとよい。また、以下に続く設定方法の例では、追加する適応型の部分領域と不要とする標準型の部分領域の数を同じとしているが、異なる値にしてもよい。
登録画像記録部3に保存されている画像数nが大きければ、それだけ幅広い変動を含んだ教師データで学習していると仮定できる。従って、適応型の部分領域の数Nadd’、Ndel’あるいは追加する適応型の部分領域に対する重みW’を以下の式を用いて大きくするとよい。あるいは、登録画像数が予め定められた数nminに満たない場合には教師データが不足しているとして、適応型の部分領域を一切使わないようにしても良い。
Nadd’ = Nadd×(n÷nmin) (n < nminの場合はNadd’はゼロ)
Ndel’ = Ndel×(n÷nmin) (n < nminの場合はNdel’はゼロ)
W’ = W×(n÷nmin)
各登録画像について、図10における登録画像情報取得処理(S21)で述べたような、適応型の部分領域とSVM識別器を使用せずに、逐次学習していない初期状態、つまり標準型での識別処理を行い、クラスの識別子が付与されているとする。このとき、図10における登録画像更新処理(S20)においてユーザが設定したクラスの識別子との差異を求めれば、標準型での識別処理の識別率Rstdが求められる。従ってこの識別率が、あらかじめ定められた基準の識別率Rthrより低ければ、標準型の部分領域を補う形で、適応型の部分領域数Nadd’、Ndel’あるいはそれらに対する重みW’を大きくするとよい。その方法として、例えば以下の式を示す。
Nadd’ = Nadd×(Rthr÷Rstd)
Ndel’ = Ndel×(Rthr÷Rstd)
W’ = W×(Rthr÷Rstd)
図5における特徴ベクトル抽出部31で行う端点検出処理を行っていれば、上で述べたように端点それぞれの尤度を取得できる。ある端点に対する尤度を登録画像間で平均すれば、その端点における平均尤度が求められる。またそれを全端点間で平均すれば、登録画像における端点検出の平均尤度が求められる。登録画像における端点検出の平均尤度の大小は、登録画像においてオブジェクトが識別に適した姿勢で入力画像に写っているか、つまり登録画像として有効な画像なのか判断する手がかりとなり得る。登録画像における端点検出の平均尤度の大小に応じて、適応型の部分領域数や重みを大きくするとよい。端点検出尤度の基準をAstd、端点検出の平均尤度をAavgとしたとき、適応型の部分領域の数や重みは以下の式を用いて求めるとよい。
Nadd’ = Nadd×(Aavg÷Astd)
Ndel’ = Ndel×(Aavg÷Astd)
W’ = W×(Aavg÷Astd)
W[i]’ = W[i]×(A[i]÷Astd)
識別処理評価部65は登録画像情報取得部62から取得できる情報に基づいて、適応型の入力画像識別手段を更新すべきかと、標準型および適応型それぞれのSVM識別器の出力値を統合する基準を更新すべきかとを判断する。
また別の判断基準として、図9における部分特徴評価部63と同様に登録画像の撮影日時を用いることができるが、ここでは割愛する。
識別用データ更新部66は、特徴ベクトル生成用データ更新部64での処理と同様に、登録画像記録部3に保存されている登録画像と登録画像情報取得部62から取得できる情報を用いて、適応型のSVM識別器を学習する。そして、標準型および適応型のSVM識別器の出力値を統合する基準を設定する。
・そのクラスに属する登録画像同士から得られる類似度ベクトルをintra-classの教師データとして、
・そのクラスに属する登録画像とそれ以外のクラスに属する登録画像から得られる類似度ベクトルをextra-classの教師データとして、
それぞれSVM学習器に与える。
rstd:Ostdが最終的な出力値に寄与する割合
rada:Oadaが最終的な出力値に寄与する割合(1.0− rstd)
Ostd:標準型のSVM識別器による出力値
Oada:適応型のSVM識別器による出力値
Ofin:標準型および適応型の出力値を統合した最終的な出力値
Ofin = Ostd×rstd + Oada×rada
登録画像の数nが大きければ、それだけ幅広い変動を含んだ教師データで学習していると仮定できる。従って適応型のSVM識別器に対しての重みradaを大きくするのが良い。あるいは、nが登録画像数の基準nminを下回っている場合には、適応型のSVM識別器の出力値に対する重みradaをゼロにしてしまう、つまり使用しない方法もよい。重みrada’は、例えば以下の式を用いて求めることができる。
rada’ = rada×(n÷nmin) (n < nminの場合はrada’はゼロ)
rada[c]’ = rada[c]×(n[c]÷nminc)
各登録画像について、前記登録画像情報取得処理(S21)で述べたような、適応型の部分領域とSVM識別器を使用せずに、逐次学習していない初期状態、つまり標準型での識別処理を行い、クラスの識別子が付与されているとする。このとき、前記登録画像更新処理(S20)において人手から得られたクラスの識別子との差異を求めれば、標準型での識別処理の識別率Rstdが求められる。従って、この識別率Rstdが低ければ、適応型のSVM識別器を補う形で重みradaを大きくするとよい。例えば、あらかじめ定められた基準の識別率Rthrを用いて、以下に示す式で重みrada’を設定できる。
rada’ = rada×(Rthr÷Rstd)
rada[c]’ = rada[c]×(Rthr[c]÷Rstd)
第1実施形態では、識別処理の際、入力画像とどの登録済みクラスに属する登録画像とを比較するかによらず、常に同一の適応型の部分領域を入力画像および登録画像に設定した。それに対して第2実施形態は、登録済みクラスごとに異なる適応型の部分領域を選ぶ点で第1実施形態と異なる。以下、具体的に説明する。なお、重複を避けるため、以下の説明においては、前実施形態と同じ部分は省略する。各部の基本的な機能は第1実施形態と同一であるため、各部の説明は第1実施形態を参照されたい。
図9に示されている、画像登録部5内の特徴ベクトル生成用データ更新部64について、第1実施形態との差異を説明する。第1実施形態では、図11に示すAdaBoost法により適応型の部分領域を求める際、登録画像間での全ての組み合わせを教師データとして、弱仮説の選択(S31)から重み更新(S32)まで行う。これにより、登録済みクラスを識別する性能が平均的に高い適応型の部分領域が1セット選ばれる。部分特徴量抽出部21は、どんな入力画像と登録画像を比較する際にも、同一の適応型の部分領域を用いて標準型の部分領域に追加および削除を行った部分領域を、入力画像および登録画像に設定することとなる。
第1実施形態では、適応型の部分領域が、AdaBoost法による機械学習で決定される。それに対して第3実施形態は、あらかじめ装置外でオブジェクトの平均画像を生成しておき、その平均画像と登録画像を比較することで、適応型の部分領域を選択する。以下、第3実施形態を具体的に説明する。なお、重複を避けるため、以下の説明においては、第1実施形態と同じ部分に関する説明は省略する。各部の基本的な機能は第1実施形態と同様であるため、各部の説明は第1実施形態を参照されたい。
第3実施形態による画像登録部5について、図13を用いて説明する。第3実施形態の画像登録部5が第1実施形態と異なる点は、平均特徴量保持部67が追加されており、特徴ベクトル生成用データ更新部64がこれを参照する点である。平均特徴量保持部67には、オブジェクトの平均画像として、あらかじめ定められた部分特徴候補それぞれにおける部分特徴量の平均値(平均特徴量)が保持されている。この平均特徴量は、あらかじめ装置外で十分な量の教師データが与えられて生成されることが望ましい。以下では、第1実施形態にならい、部分特徴として画像の部分領域を用いる場合の平均特徴量生成について説明するが、平均の部分特徴量はいかなる種類の部分特徴からも生成できることは言うまでもない。
第3実施形態の特徴ベクトル生成用データ更新部64は、登録画像記録部3に保存されている登録画像、登録画像情報取得部62から取得できる情報、さらに平均特徴量保持部67に保持されている平均特徴量を用いて、適応型の部分領域とその重みを選ぶ。
ある部分領域候補pについて、平均特徴量と登録画像から得られた特徴量の差分を取る。この差分をあるクラスcに属する登録画像すべてに対して取得し、クラス内差分平均da[p][c]を得る。さらに、クラス内差分平均を全ての登録済みクラスにおいて平均することで、差分平均da[p]が取得できる。このクラス内差分平均の大きさとは、あるクラスのオブジェクトがこの部分領域候補において、平均的なオブジェクトと比較してどれほど特徴的であるか表す尺度といえる。差分平均da[p]に比べてクラス内差分平均da[p][c]が著しく大きい部分領域候補、例えば顔画像においては個人に特有のホクロなど目印となるような部分領域候補を積極的に用いれば、クラスcの識別性能を上げられる可能性がある。従って、部分領域候補を以下の式で評価することで、前記目印となりうる部分領域候補の重みW[p]’を大きくできる。また、そのクラスに属する登録画像の枚数n[c]が大きいほど差分平均の信頼性が上がるため、1つのクラスに属する登録画像数の基準nmincを用いて、以下の式からW[p]の重みを大きくするとよい。なお、式中の記号については、第1実施形態での前記部分特徴評価処理での定義も併せて参照されたい。
W[p]’ = W[p]×(da[p][c]÷da[p])×(n[c]÷nminc)
ある部分領域候補pについて、ある同一クラスcに属する登録画像同士から得られた特徴量の差分を取る。この差分をそのクラスに属する登録画像同士の組み合わせすべてに対して取得し平均することで、自己差分平均d[p][c]を得る。この自己差分平均の大きさとは、あるクラスのオブジェクトがこの部分領域候補pにおいて、どれほど変化するかを表す尺度といえる。この自己差分平均が大きい部分領域候補とは、例えば顔画像においては、表情で大きく変化する目や、時間経過で変化が大きい髪の毛などであるといえる。この差分平均が小さい、つまり同一オブジェクトにおいて変化しにくい部分領域候補を積極的に用いることで、識別性能を上げられる可能性がある。従って、あるクラスに属する登録画像においてこの差分平均が小さい部分領域候補の重みを、差分平均が小さいほど大きくすると良い。また同時に、そのクラスに属する登録画像の枚数が大きいほど差分平均の信頼性が上がるため、前記差分平均が小さい部分領域候補の重みを大きくするとよい。例えば、以下の式からW[p]の重みを変更できる。なお、式中のdとは、自己差分平均を全登録済みクラスおよび全部分領域候補で平均をとったものである。
W[p]’ = W[p]×(d[p][c]÷d)×(n[c]÷nminc)
第4実施形態は、第1実施形態に対して、オブジェクト識別部4が含む識別部と、画像登録部5が含む識別用データ更新部の処理内容が異なる。第1実施形態では、適応的に構成されるSVM識別器の出力が、標準型のSVM識別器の出力と線形和で結合されており、適宜追加される登録画像に基づいて線形和の重みを逐次更新していた。それに対して第4実施形態では、標準型のSVM識別器と適応型のSVM識別器が直列に配置され、順に駆動される。標準型のSVM識別器の出力値がある閾値を超えなければ、その時点で処理が打ち切られる。出力値がある閾値を超えた場合、適応型のSVM識別器の出力値により入力画像が属するクラスが判別される。閾値は、識別用データ更新部により更新される。以下、第4実施形態を具体的に説明する。重複を避けるため、以下の説明においては、第1実施形態と同様の構成についての説明は省略する。各部の基本的な機能は第1実施形態と同一であるため、各部の説明は第1実施形態を参照されたい。
オブジェクト識別部4内の識別部について、第1実施形態との差異を説明する。ここでは第1実施形態と同じく、intra-class, extra-classの2クラス問題を、SVM識別器を用いて判定する場合について説明する。図7の(b)は、オブジェクト識別部4における識別部23の一構成例を示すブロック図である。識別部23は、SVM識別器駆動部41、SVM識別器データ保持部42を含む。SVM識別器駆動部41で用いる標準型および適応型のSVM識別器の性質や、適応型のSVM識別器を登録済みクラスと等しい数だけ備えることは、第1実施形態と同じである。ただし、SVM識別器駆動部41におけるSVM識別器の組み合わせ方が一部異なり、並列ではなく直列に結合される。識別部23が入力画像と登録画像の類似度ベクトルを識別する手順は以下のとおりである。
画像登録部5内の識別用データ更新部66(図9)について、第1実施形態との差異を説明する。ここでは第1実施形態と同様に、まず登録画像記録部3に保存されている登録画像と登録画像情報取得部62から取得できる情報を用いて、適応型のSVM識別器を更新する。この適応型のSVM識別器の学習は第1実施形態と同じであるため、割愛する。
あるクラスに属する登録画像が多ければ、そのクラスに対応する適応型のSVM識別器はそれだけ幅広い変動を含んだ教師データで学習しており、適応型のSVM識別器がそのクラスに対する類似を識別する性能は高くなると仮定できる。従って、標準型のSVM識別器でそのクラスに対する変動を識別する際の閾値Th[c]を下げ、適応型のSVM識別器に委ねるとよい。あるいは、あるクラスに属する登録画像数n[c]が予め定められた値を下回っている場合には、そのクラスに対応する適応型のSVM識別器を使用しない方法もよい。また、クラス毎の登録画像数に限らず、全登録画像数nの大小によって、全てのクラスに対して、閾値Thを一様に増減しても良い。
Th[c]’ = Th[c]×(nminc÷n[c]) (n[c] <nmincの場合はTh[c]’はゼロ)
Th’ = Th×(nmin÷n) (n < nminの場合はTh’はゼロ)
各登録画像について、登録画像情報取得処理(S21)で述べたような、適応型の部分領域とSVM識別器を使用せずに、逐次学習していない初期状態、つまり標準型での識別処理を行い、クラスの識別子が付与されているとする。このとき、登録画像更新処理(S20)においてユーザから得られたクラスの識別子との差異を求めれば、標準型での識別処理の識別率が、クラスごとに求められる。あるクラスに対しての標準型のSVM識別器の識別率Rstd[c]が低ければ、標準型のSVM識別器でそのクラスに対する変動を識別する際の閾値Th[c]を下げ、適応型のSVM識別器に識別を委ねるとよい。
Th[c]’ = Th[c]×(Rstd[c]÷Rthr)
第5実施形態は、第1実施形態に対して、特徴ベクトル抽出部と識別用データ更新部が用いる教師データとして、登録画像だけでなく、装置内にあらかじめ保存される教師画像を併用するという点で異なる。以下、具体的に説明する。重複を避けるため、以下の説明においては、第1実施形態と同様の構成の説明は省略する。各部の基本的な機能は第1実施形態と同様であるため、各部の説明は第1実施形態を参照されたい。
Claims (17)
- 入力画像に含まれているオブジェクトが、予め登録された複数のクラスのいずれに属するか識別するオブジェクト識別装置であって、
入力画像の識別に用いられる複数の登録画像を登録してある登録手段と、
識別に使用する部分領域を指定する指定データを保持する保持手段と、
前記入力画像と前記複数の登録画像の各々から、前記指定データによって指定された部分領域の特徴量を抽出し、複数の教師画像を用いた学習によりパラメータが設定された標準型の識別器と、前記登録手段に登録された登録画像を用いてパラメータが設定されたクラスごとの適応型の識別器とを用いて、抽出された特徴量に基づいて前記入力画像が属するクラスを識別する識別手段と、
前記登録手段の登録内容を更新する登録更新手段と、
前記登録手段に登録されている前記複数の登録画像に関して、前記適応型の識別器を用いずに前記標準型の識別器を用いた識別率と、前記標準型の識別器及び前記適応型の識別器を用いた識別率との大きさの関係に基づいて、前記識別手段のパラメータの更新が必要か否かを判定する更新判定手段と、
前記更新判定手段により前記パラメータの更新が必要であると判定された場合に、前記登録手段に登録されている登録画像に基づいて、当該パラメータを更新する第1更新手段とを備えることを特徴とするオブジェクト識別装置。 - 前記識別手段は、
前記入力画像と登録画像の特徴量に基づいて類似度ベクトルを取得する取得手段と、
前記複数の登録画像の各々について前記取得手段が取得した類似度ベクトルを用いて、前記入力画像が登録画像の属しているクラスに属するかを判別する判別手段と、
前記複数の登録画像のそれぞれについての前記判別手段による複数の判別の結果を統合して識別結果を生成する統合手段と、を更に備えることを特徴とする請求項1に記載のオブジェクト識別装置。 - 前記更新判定手段が更に、前記指定データの更新の要否を判定し、
前記更新判定手段により前記指定データの更新が必要であると判定された場合に、前記登録手段に登録されている登録画像に基づいて、前記指定データによる部分領域の指定を更新する第2更新手段とを備えることを特徴とする請求項1に記載のオブジェクト識別装置。 - 前記更新判定手段は、前記複数の登録画像の作成日時に基づいて前記指定データの更新が必要か否かを判定することを特徴とする請求項3に記載のオブジェクト識別装置。
- 前記更新判定手段は、前記指定データが指定する部分領域に関して、同じクラスの登録画像間における類似度と、別のクラスの登録画像との間の類似度との比である分離度に基づいて前記指定データの更新が必要か否かを判定することを特徴とする請求項3に記載のオブジェクト識別装置。
- 前記第1更新手段は、前記標準型の識別器及び前記適応型の識別器における分離平面を更新することを特徴とする請求項1に記載のオブジェクト識別装置。
- 前記第1更新手段は、前記標準型の識別器と前記適応型の識別器の各々の結果の出力に対する統合時の重み付けを更新することを特徴とする請求項1に記載のオブジェクト識別装置。
- 前記識別に使用する部分領域は、クラスに関わらず同じであることを特徴とする請求項1に記載のオブジェクト識別装置。
- 前記識別に使用する部分領域は、クラスごとに異なることを特徴とする請求項1に記載のオブジェクト識別装置。
- 複数の教師画像を用いて算出された各部分領域の特徴量の平均値を保持する平均特徴量保持手段を更に備え、
前記第1更新手段は、同じクラスに属する登録画像を用いて算出された部分領域の特徴量の平均値と、対応する部分領域の前記平均特徴量保持手段に保持されている平均値とに基づいて、当該部分領域に対する重み値を更新することを特徴とする請求項1に記載のオブジェクト識別装置。 - 前記標準型の識別器と前記適応型の識別器は並列に接続され、
前記統合手段は、前記標準型の識別器と前記適応型の識別器から得られた識別結果を統合することを特徴とする請求項2に記載のオブジェクト識別装置。 - 前記標準型の識別器と前記適応型の識別器は直列に接続され、
前記統合手段は、前記適応型の識別器から得られた識別結果を統合することを特徴とする請求項2に記載のオブジェクト識別装置。 - 前記適応型の識別器は、前記標準型の識別器の識別結果が閾値を越えている場合にのみ処理を実行し、
前記第1更新手段は、前記閾値を更新することを特徴とする請求項12に記載のオブジェクト識別装置。 - 前記適応型の識別器はクラスごとに設けられ、前記閾値はクラスごとに異なることを特徴とする請求項13に記載のオブジェクト識別装置。
- 複数の教師画像を記憶した教師画像記録手段を更に備え、
前記第1更新手段と前記第2更新手段は、前記登録手段の登録画像が不足する場合に、前記教師画像記録手段に保持された教師画像を利用して更新処理を行うことを特徴とする請求項3に記載のオブジェクト識別装置。 - 入力画像の識別に用いられる複数の登録画像を登録してある登録手段と、
識別に使用する部分領域を指定する指定データを保持する保持手段とを備え、
入力画像に含まれているオブジェクトが、予め登録された複数のクラスのいずれに属するか識別するオブジェクト識別装置の制御方法であって、
識別手段が、前記入力画像と前記複数の登録画像の各々から、前記指定データによって指定された部分領域の特徴量を抽出し、複数の教師画像を用いた学習によりパラメータが設定された標準型の識別器と、前記登録手段に登録された登録画像を用いてパラメータが設定されたクラスごとの適応型の識別器とを用いて、抽出された特徴量に基づいて前記入力画像が属するクラスを識別する識別工程と、
登録更新手段が、前記登録手段の登録内容を更新する登録更新工程と、
更新判定手段が、前記登録手段に登録されている前記複数の登録画像に関して、前記適応型の識別器を用いずに前記標準型の識別器を用いた識別率と、前記標準型の識別器及び前記適応型の識別器を用いた識別率との大きさの関係に基づいて、前記識別手段のパラメータの更新が必要か否かを判定する更新判定工程と、
前記更新判定工程において前記パラメータの更新が必要であると判定された場合に、前記登録手段に登録されている登録画像に基づいて、当該パラメータを更新する更新工程とを有することを特徴とするオブジェクト識別装置の制御方法。 - 請求項1乃至15のいずれか1項に記載のオブジェクト識別装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009298819A JP5554987B2 (ja) | 2009-12-28 | 2009-12-28 | オブジェクト識別装置及びその制御方法 |
US12/973,172 US8705806B2 (en) | 2009-12-28 | 2010-12-20 | Object identification apparatus and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009298819A JP5554987B2 (ja) | 2009-12-28 | 2009-12-28 | オブジェクト識別装置及びその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011138387A JP2011138387A (ja) | 2011-07-14 |
JP5554987B2 true JP5554987B2 (ja) | 2014-07-23 |
Family
ID=44187666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009298819A Expired - Fee Related JP5554987B2 (ja) | 2009-12-28 | 2009-12-28 | オブジェクト識別装置及びその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8705806B2 (ja) |
JP (1) | JP5554987B2 (ja) |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2677495B1 (en) * | 2011-02-15 | 2022-09-28 | Fujitsu Limited | Biometric authentication device, method and computer program |
CN103548054B (zh) * | 2011-02-23 | 2016-05-18 | 皇家飞利浦有限公司 | 界标的自动投影以产生图像配准中的额外对应 |
JP5792985B2 (ja) * | 2011-04-20 | 2015-10-14 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
US8948522B2 (en) * | 2011-08-04 | 2015-02-03 | Seiko Epson Corporation | Adaptive threshold for object detection |
JP5900052B2 (ja) * | 2012-03-15 | 2016-04-06 | オムロン株式会社 | 登録判定装置、その制御方法および制御プログラム、並びに電子機器 |
CN103870798B (zh) * | 2012-12-18 | 2017-05-24 | 佳能株式会社 | 对象检测方法、对象检测设备以及图像拾取设备 |
JP6160196B2 (ja) | 2013-04-15 | 2017-07-12 | オムロン株式会社 | 識別器更新装置、識別器更新プログラム、情報処理装置、および識別器更新方法 |
JP5742873B2 (ja) * | 2013-05-08 | 2015-07-01 | 株式会社デンソー | 物体識別装置 |
US9122914B2 (en) * | 2013-05-09 | 2015-09-01 | Tencent Technology (Shenzhen) Co., Ltd. | Systems and methods for matching face shapes |
US20140341443A1 (en) * | 2013-05-16 | 2014-11-20 | Microsoft Corporation | Joint modeling for facial recognition |
JP2015069580A (ja) * | 2013-09-30 | 2015-04-13 | 大日本印刷株式会社 | 人物画像分類装置、人物画像分類方法、及び、プログラム |
US9614724B2 (en) | 2014-04-21 | 2017-04-04 | Microsoft Technology Licensing, Llc | Session-based device configuration |
US9639742B2 (en) | 2014-04-28 | 2017-05-02 | Microsoft Technology Licensing, Llc | Creation of representative content based on facial analysis |
US9773156B2 (en) | 2014-04-29 | 2017-09-26 | Microsoft Technology Licensing, Llc | Grouping and ranking images based on facial recognition data |
US9384335B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content delivery prioritization in managed wireless distribution networks |
US9430667B2 (en) | 2014-05-12 | 2016-08-30 | Microsoft Technology Licensing, Llc | Managed wireless distribution network |
US9384334B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content discovery in managed wireless distribution networks |
US10111099B2 (en) | 2014-05-12 | 2018-10-23 | Microsoft Technology Licensing, Llc | Distributing content in managed wireless distribution networks |
US9874914B2 (en) | 2014-05-19 | 2018-01-23 | Microsoft Technology Licensing, Llc | Power management contracts for accessory devices |
JP6470503B2 (ja) * | 2014-05-20 | 2019-02-13 | キヤノン株式会社 | 画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラム |
US9367490B2 (en) | 2014-06-13 | 2016-06-14 | Microsoft Technology Licensing, Llc | Reversible connector for accessory devices |
US9460493B2 (en) | 2014-06-14 | 2016-10-04 | Microsoft Technology Licensing, Llc | Automatic video quality enhancement with temporal smoothing and user override |
US9373179B2 (en) | 2014-06-23 | 2016-06-21 | Microsoft Technology Licensing, Llc | Saliency-preserving distinctive low-footprint photograph aging effect |
JP2015029355A (ja) * | 2014-10-17 | 2015-02-12 | 株式会社東芝 | 機器制御装置、その方法、及び、そのプログラム |
JP6090286B2 (ja) * | 2014-10-31 | 2017-03-08 | カシオ計算機株式会社 | 機械学習装置、機械学習方法、分類装置、分類方法、プログラム |
JP6632193B2 (ja) * | 2015-01-16 | 2020-01-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US20160350336A1 (en) * | 2015-05-31 | 2016-12-01 | Allyke, Inc. | Automated image searching, exploration and discovery |
US10558846B2 (en) | 2015-07-27 | 2020-02-11 | Panasonic Intellectual Property Management Co., Ltd. | Face collation device, face collation system comprising same, and face collation method |
WO2017100903A1 (en) * | 2015-12-14 | 2017-06-22 | Motion Metrics International Corp. | Method and apparatus for identifying fragmented material portions within an image |
JP6622124B2 (ja) * | 2016-03-17 | 2019-12-18 | 株式会社東芝 | 算出装置及び認識装置 |
JP6872742B2 (ja) * | 2016-06-30 | 2021-05-19 | 学校法人明治大学 | 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム |
US10528791B1 (en) * | 2017-03-02 | 2020-01-07 | Synaptics Incorporated | Biometric template updating systems and methods |
US10621473B1 (en) * | 2019-01-30 | 2020-04-14 | StradVision, Inc. | Method for providing object detecting system capable of updating types of detectable classes in real-time by using continual learning and devices using the same |
WO2020194497A1 (ja) * | 2019-03-26 | 2020-10-01 | 日本電気株式会社 | 情報処理装置、個人識別装置、情報処理方法及び記憶媒体 |
JP7187377B2 (ja) * | 2019-04-23 | 2022-12-12 | 株式会社日立製作所 | 物体情報登録装置及び物体情報登録方法 |
US12033371B2 (en) | 2019-05-23 | 2024-07-09 | Konica Minolta, Inc. | Object detection device, object detection system, object detection method, program, and recording medium |
US20220207863A1 (en) | 2019-05-23 | 2022-06-30 | Konica Minolta, Inc. | Object detection device, object detection method, program, and recording medium |
CN110222789B (zh) * | 2019-06-14 | 2023-05-26 | 腾讯科技(深圳)有限公司 | 图像识别方法及存储介质 |
US11507768B2 (en) * | 2019-07-04 | 2022-11-22 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
US11164039B2 (en) * | 2019-10-23 | 2021-11-02 | International Business Machines Corporation | Framework for few-shot temporal action localization |
KR102349854B1 (ko) * | 2019-12-30 | 2022-01-11 | 엘아이지넥스원 주식회사 | 표적 추적 시스템 및 방법 |
CN111611874B (zh) * | 2020-04-29 | 2023-11-03 | 杭州电子科技大学 | 基于ResNet和Canny的人脸口罩佩戴检测方法 |
US11366983B2 (en) * | 2020-09-09 | 2022-06-21 | International Business Machines Corporation | Study-level multi-view processing system |
CN112241836B (zh) * | 2020-10-10 | 2022-05-20 | 天津大学 | 一种基于增量学习的虚拟负荷主导参数辨识方法 |
CN113569676B (zh) * | 2021-07-16 | 2024-06-11 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、电子设备及存储介质 |
TW202321130A (zh) * | 2021-09-28 | 2023-06-01 | 美商卡爾戈科技股份有限公司 | 貨物管理系統及其方法 |
US20230101794A1 (en) * | 2021-09-28 | 2023-03-30 | Kargo Technologies Corp. | Freight Management Systems And Methods |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6463176B1 (en) | 1994-02-02 | 2002-10-08 | Canon Kabushiki Kaisha | Image recognition/reproduction method and apparatus |
JP3078166B2 (ja) | 1994-02-02 | 2000-08-21 | キヤノン株式会社 | 物体認識方法 |
JP3480563B2 (ja) * | 1999-10-04 | 2003-12-22 | 日本電気株式会社 | パターン識別のための特徴抽出装置 |
US7054850B2 (en) | 2000-06-16 | 2006-05-30 | Canon Kabushiki Kaisha | Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements |
JP4478296B2 (ja) | 2000-06-16 | 2010-06-09 | キヤノン株式会社 | パターン検出装置及び方法、画像入力装置及び方法、ニューラルネットワーク回路 |
KR100456619B1 (ko) * | 2001-12-05 | 2004-11-10 | 한국전자통신연구원 | 에스.브이.엠(svm)을 이용한 얼굴 등록/인증 시스템 및방법 |
JP4161659B2 (ja) | 2002-02-27 | 2008-10-08 | 日本電気株式会社 | 画像認識システム及びその認識方法並びにプログラム |
KR100438841B1 (ko) * | 2002-04-23 | 2004-07-05 | 삼성전자주식회사 | 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템 |
JP4507281B2 (ja) * | 2006-03-30 | 2010-07-21 | 富士フイルム株式会社 | 画像表示装置、撮像装置および画像表示方法 |
US8085995B2 (en) * | 2006-12-01 | 2011-12-27 | Google Inc. | Identifying images using face recognition |
JP4307496B2 (ja) * | 2007-03-19 | 2009-08-05 | 株式会社豊田中央研究所 | 顔部位検出装置及びプログラム |
JP4946730B2 (ja) * | 2007-08-27 | 2012-06-06 | ソニー株式会社 | 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム |
JP5109564B2 (ja) * | 2007-10-02 | 2012-12-26 | ソニー株式会社 | 画像処理装置、撮像装置、これらにおける処理方法およびプログラム |
-
2009
- 2009-12-28 JP JP2009298819A patent/JP5554987B2/ja not_active Expired - Fee Related
-
2010
- 2010-12-20 US US12/973,172 patent/US8705806B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8705806B2 (en) | 2014-04-22 |
JP2011138387A (ja) | 2011-07-14 |
US20110158536A1 (en) | 2011-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5554987B2 (ja) | オブジェクト識別装置及びその制御方法 | |
US8542887B2 (en) | Object identification apparatus and object identification method | |
JP5424819B2 (ja) | 画像処理装置、画像処理方法 | |
JP4543423B2 (ja) | 対象物自動認識照合方法および装置 | |
JP5247480B2 (ja) | オブジェクト識別装置及びオブジェクト識別方法 | |
US9098760B2 (en) | Face recognizing apparatus and face recognizing method | |
Martinez et al. | Local evidence aggregation for regression-based facial point detection | |
US8498454B2 (en) | Optimal subspaces for face recognition | |
Marcel et al. | On the recent use of local binary patterns for face authentication | |
JP5010905B2 (ja) | 顔認証装置 | |
JP5629803B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
KR101725651B1 (ko) | 식별 장치 및 식별 장치의 제어 방법 | |
JP6544900B2 (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
JP5241606B2 (ja) | オブジェクト識別装置及びオブジェクト識別方法 | |
JP2010271872A (ja) | 画像認識装置、撮像装置及び画像認識方法 | |
JP2008217589A (ja) | 学習装置及びパターン認識装置 | |
WO2020195732A1 (ja) | 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体 | |
JP2012221061A (ja) | 画像認識装置、画像認識方法、及びプログラム | |
JP6166981B2 (ja) | 表情解析装置及び表情解析プログラム | |
JP5653003B2 (ja) | オブジェクト識別装置及びオブジェクト識別方法 | |
JP2012234497A (ja) | オブジェクト識別装置、オブジェクト識別方法、及びプログラム | |
US20230306273A1 (en) | Information processing device, information processing method, and recording medium | |
Arriaga-Gómez et al. | A comparative survey on supervised classifiers for face recognition | |
Nikisins et al. | Reduced complexity automatic face recognition algorithm based on local binary patterns | |
Ren et al. | Real-time head pose estimation on mobile platforms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130930 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140502 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140530 |
|
LAPS | Cancellation because of no payment of annual fees |