JP7180590B2 - オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及びオブジェクト特徴量抽出プログラム - Google Patents

オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及びオブジェクト特徴量抽出プログラム Download PDF

Info

Publication number
JP7180590B2
JP7180590B2 JP2019507570A JP2019507570A JP7180590B2 JP 7180590 B2 JP7180590 B2 JP 7180590B2 JP 2019507570 A JP2019507570 A JP 2019507570A JP 2019507570 A JP2019507570 A JP 2019507570A JP 7180590 B2 JP7180590 B2 JP 7180590B2
Authority
JP
Japan
Prior art keywords
feature
feature amount
information
resolution
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019507570A
Other languages
English (en)
Other versions
JPWO2018173848A1 (ja
Inventor
亮磨 大網
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018173848A1 publication Critical patent/JPWO2018173848A1/ja
Application granted granted Critical
Publication of JP7180590B2 publication Critical patent/JP7180590B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Description

本発明は、オブジェクト追跡システム、インテリジェント撮像装置、オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及び記憶媒体に関する。
この種の複数のカメラを用いたオブジェクト追跡として、特許文献１の技術が知られている。特許文献１には、顔面、髪型、腕や手、脚部、服装、持ち物、歩き方、音声などを記述する複数の特徴量を組み合わせて、カメラ間で人物同士が同一かどうかを判定する方式が開示されている。この際、特徴量ごとの有効度が算出され、有効度に応じて特徴が選択され、選択された特徴により人物同士の照合が行われる。この有効度は、全特徴量の出力の総和に対するその特徴量の出力の比率に出現頻度を乗じて算出される。例えば、遠方から人物が歩いて近づいて来るような場合には、顔画像の特徴は顔のサイズが小さすぎるために有効度が低くなり、服装の特徴であるテクスチャ特徴や色成分特徴などの有効度が高くなる。
特許第５００８２６９号公報
しかしながら、上記文献に記載の技術では、特徴を照合に使用するか否かを有効度が閾値を超えるか否かで選択しているため、特徴を考慮する度合いを連続的に変化させて照合を行なうことができない。例えば、テクスチャ特徴量の有効度が閾値を下回ると、取得されたテクスチャの情報から元のテクスチャの種別がある程度絞り込める場合であっても照合に全く用いられず、精度が低下する。一方、テクスチャ特徴量の有効度が少しでも閾値を上回ると、解像度の影響とは関係なく特徴を用いて照合するため、画像の解像度によって特徴量が変化した場合に、やはり精度が低下する可能性がある。このように、照合ミスによる追跡漏れや検索漏れを抑えることができない。
本発明の目的は、上述の課題を解決する、照合ミスによる追跡漏れや検索漏れを少なく抑えるオブジェクト特徴量を生成する技術を提供することにある。
上記目的を達成するため、本発明の一態様に係るオブジェクト特徴量抽出装置は、画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成するオブジェクト検出手段と、前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する特徴量抽出手段と、を備える。
上記目的を達成するため、本発明の一態様に係るインテリジェント撮像装置は、少なくとも撮像部とオブジェクト特徴量抽出部とを有するインテリジェント撮像装置であって、前記オブジェクト特徴量抽出部は、前記撮像部が撮像した画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成するオブジェクト検出手段と、前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する特徴量抽出手段と、を備える
上記目的を達成するため、本発明の一態様に係るオブジェクト特徴量抽出方法は、画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成し、前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する、特徴量抽出を行う。
上記目的を達成するため、本発明の一態様に係るインテリジェント撮像方法は、撮像部が撮像した画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成し、前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する。
上記目的を達成するため、本発明の一態様に係る記憶媒体は、画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成するオブジェクト検出処理と、前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する特徴量抽出処理と、をコンピュータに実行させるオブジェクト特徴量抽出プログラムを記憶する。本発明の一態様は、上記記憶媒体が記憶するオブジェクト特徴量抽出プログラムによっても実現される。
上記目的を達成するため、本発明の一態様に係る記憶媒体は、少なくとも撮像部と接続されたコンピュータに、前記撮像部が撮像した画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成するオブジェクト検出処理と、前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する特徴量抽出処理と、を実行させるインテリジェント撮像プログラムを記憶する。本発明の一態様は、上記記憶媒体が記憶するオブジェクト撮像プログラムによっても実現される。
本発明によれば、照合ミスによる追跡漏れや検索漏れを少なく抑えるオブジェクト特徴量を生成することができる。
本発明の第１実施形態に係るオブジェクト特徴量抽出装置の構成を示すブロック図である。 本発明の第２実施形態に係るオブジェクト特徴量抽出装置を含むオブジェクト追跡システムの構成を示すブロック図である。 本発明の第２実施形態に係るオブジェクト特徴量抽出装置を含むオブジェクト追跡システムの動作手順を示すフローチャートである。 本発明の第２実施形態に係るオブジェクト特徴量抽出装置（部）の機能構成を示すブロック図である。 本発明の第２実施形態に係るオブジェクト照合部の機能構成を示すブロック図である。 本発明の第２実施形態に係るオブジェクト特徴量抽出装置（部）のハードウェア構成を示すブロック図である。 本発明の第２実施形態に係るオブジェクト特徴量抽出装置（部）における特徴量抽出テーブルの構成を示す図である。 本発明の第２実施形態に係るオブジェクト特徴量抽出装置（部）の処理手順を示すフローチャートである。 本発明の第２実施形態に係るオブジェクト照合部の照合テーブルの構成を示す図である。 本発明の第２実施形態に係るオブジェクト照合部の処理手順を示すフローチャートである。 本発明の第３実施形態に係るオブジェクト特徴量抽出装置（部）の機能構成を示すブロック図である。 本発明の第３実施形態に係るオブジェクト照合部の機能構成を示すブロック図である。 本発明の第４実施形態に係るオブジェクト照合部の機能構成を示すブロック図である。 本発明の第５実施形態に係るオブジェクト特徴量抽出装置（部）の機能構成を示すブロック図である。 本発明の第５実施形態に係るオブジェクト特徴量抽出装置（部）におけるオブジェクト特徴量抽出テーブルの構成を示す図である。 本発明の第５実施形態に係るオブジェクト特徴量抽出装置（部）の処理手順を示すフローチャートである。 本発明の第６実施形態に係るオブジェクト特徴量抽出装置（部）の機能構成を示すブロック図である。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
［第１実施形態］
本発明の第１実施形態としてのオブジェクト特徴量抽出装置について、図１を用いて説明する。オブジェクト特徴量抽出装置１００は、オブジェクト追跡のため画像からオブジェクト特徴量を抽出する装置である。
《オブジェクト特徴量抽出装置》
図１に示すように、オブジェクト特徴量抽出装置１００は、オブジェクト検出部１０１と、特徴量抽出部１０２と、を含む。オブジェクト検出部１０１は、画像１１０からオブジェクトを検出し、オブジェクトの存在する領域を表す領域情報１１１と、オブジェクトの解像度に係る解像度情報１１２とを生成する。特徴量抽出部１０２は、領域情報１１１で定められる領域内の画像１１０から、解像度情報１１２を考慮してオブジェクトの特徴を表すオブジェクト特徴量１２１を抽出する。
（オブジェクト検出部の構成および動作）
オブジェクト検出部１０１では、入力される画像１１０に対してオブジェクト検出を行い、結果をオブジェクト検出結果として出力する。オブジェクトが人物の場合、人物の画像特徴を学習した検出器を用いて、人物領域を検出する。例えば、ＨＯＧ（Histograms of Oriented Gradients）特徴に基づいて検出する検出器や、ＣＮＮ（Convolutional Neural Network）を用いて画像から直接検出する検出器を用いてもよい。あるいは、人全体ではなく、人の一部の領域（例えば頭部など）を学習させた検出器を用いて人物を検出するようにしてもよい。オブジェクトが車の場合も、同様に車両の画像特徴を学習させた検出器を用いて検出することが可能である。オブジェクトがそれ以外の特定物体の場合も、その特定物体の画像特徴を学習させた検出器を構築し、用いるようにすればよい。
このようにして検出された個々のオブジェクトに対し、領域情報１１１と解像度情報１１２とを求める。領域情報１１１は、画像内で該オブジェクトが存在する領域の情報であり、具体的には、画像上でのオブジェクト領域の外接矩形の情報であったり、オブジェクトの形状を表すシルエット情報であったりする。ここで、シルエット情報とは、オブジェクト領域の内部の画素と外部の画素を区別する情報であり、例えば、内部の画素値を“２５５”、外部の画素値を“０”に設定した画像情報であり、背景差分法などの既知の方法で求めることができる。
一方、解像度情報１１２は、画像上でのオブジェクトの大きさや、撮像部としてのカメラからオブジェクトまでの距離を表す情報である。例えば、画像上でのオブジェクト領域の縦と横との画素数であったり、カメラからオブジェクトまでの距離であったりする。カメラからオブジェクトまでの距離は、カメラの位置や向きの情報を用いて、２次元のカメラ座標を実空間上の座標に変換することにより、求めることができる。カメラの位置や向きの情報は、カメラ設置時にキャリブレーション処理を行うことにより、取得したり算出したりできる。なお、解像度情報は、１種類の情報だけでなく、複数種類の情報を含むようになっていてもよい。検出されたオブジェクトごとに算出された領域情報１１１と解像度情報１１２とは、例えばパターンや模様などの特徴量を抽出する特徴量抽出部１０２へ出力される。
（特徴量抽出部）
特徴量抽出部１０２では、オブジェクト検出部１０１から出力されるオブジェクトごとの領域情報１１１と解像度情報１１２とに基づいて、入力される画像１１０からパターンや模様などを記述するオブジェクト特徴量１２１を抽出する。オブジェクトが人物の場合には、人物の服のパターンや模様の特徴を抽出する。この際、領域の解像度によって、パターンや模様の特徴量が変化しうることを考慮し、解像度情報１１２も一緒に取り込んでオブジェクト特徴量１２１を生成し、出力する。解像度情報１１２を取り込む際、そのままパターンや模様の特徴量に付加して全体としてオブジェクト特徴量１２１として出力する場合と、解像度情報１１２を用いて、パターンや模様の特徴量に何らかの変換を加えてオブジェクト特徴量１２１を求める場合が考えられる。以降の説明において、後者の場合、変換を行う前の特徴量を一次特徴量と呼ぶことにする。
本実施形態によれば、解像度に応じた特徴の変化を考慮して特徴量を抽出するため、照合ミスによる追跡漏れや検索漏れを少なく抑えるオブジェクト特徴量を生成することができる。
［第２実施形態］
次に、本発明の第２実施形態に係るオブジェクト特徴量抽出装置とオブジェクト特徴量抽出装置を含むオブジェクト追跡システムとについて説明する。本実施形態に係るオブジェクト特徴量抽出装置は、カメラからの距離や解像度に応じた模様の特徴の変化を特徴量抽出時から考慮して、オブジェクト特徴量を算出する。また、本実施形態に係るオブジェクト特徴量抽出装置を含むオブジェクト追跡システムは、解像度がオブジェクト特徴量に反映されるため、特徴量の識別精度を最大限に生かして追跡漏れや検索漏れを少なく抑えることができる。例えば、細かい模様の特徴は、解像度が低下するとつぶれて模様がない場合と同様になるが、このような場合でも、もともと細かい模様がつぶれてしまったケースと模様がもともとないケースとにおいて、解像度が特徴量に反映されるため、追跡漏れや検索漏れを少なく抑えることができる。
《オブジェクト追跡システム》
図２および図３を参照して、オブジェクト追跡システムの構成および動作を説明する。
（システム構成）
図２は、本実施形態に係るオブジェクト特徴量抽出装置（部）２２０を含むオブジェクト追跡システム２００の構成を示すブロック図である。
図２を参照すると、オブジェクト追跡システム２００は、オブジェクト特徴量抽出部２２０Ａと、オブジェクト特徴量抽出部２２０Ｂと、特徴量記憶部２３０と、オブジェクト照合部２４０と、を備える。
オブジェクト特徴量抽出部２２０Ａは、カメラ２１０Ａが撮像した画像からオブジェクトを検出し、その模様などの第１特徴量を抽出して特徴量記憶部２３０に格納する。オブジェクト特徴量抽出部２２０Ｂは、カメラ２１０Ｂが撮像した画像からオブジェクトを検出し、その模様などの第２特徴量２２０ｂを抽出してオブジェクト照合部２４０へ出力する。オブジェクト照合部２４０は、オブジェクト特徴量抽出部２２０Ｂから出力されるオブジェクトの模様などの第２特徴量２２０ｂと、特徴量記憶部２３０に格納されたオブジェクトの模様などの第１特徴量２３０ａとを照合し、照合結果を出力する。
なお、図２には図示しないが、照合結果において同一オブジェクトと判定したオブジェクトについて履歴を蓄積することで、オブジェクトをより正確に追跡でき、照合ミスによる追跡漏れや検索漏れを少なく抑えることができる。また、図２において、オブジェクト特徴量抽出部２２０Ａとカメラ２１０Ａとを囲む太破線は、カメラとオブジェクト特徴量抽出部とが一体に内包されたインテリジェントカメラ２５０Ａとして構成可能であることを示している。
（システム動作）
図３は、本実施形態に係るオブジェクト特徴量抽出装置（部）２２０を含むオブジェクト追跡システム２００の動作手順を示すフローチャートである。
カメラ２１０Ａで取得した映像は、オブジェクト特徴量抽出部２２０Ａへ入力され（Ｓ３０１）、オブジェクトを検出してそのオブジェクトの模様などの特徴量の抽出が行われる（Ｓ３０３）。この処理は、上述の第１実施形態の説明で述べたとおりであり、解像度情報が反映された模様などの特徴量を検出されたオブジェクトの分だけ出力し、特徴量記憶部２３０に格納される（Ｓ３０５）。特徴量記憶部２３０には、求まったオブジェクト特徴量を、そのオブジェクト特徴量を抽出したカメラと抽出された時刻と、カメラ内での位置等の情報とともに格納され、外部から条件が与えられると、その条件に合致するオブジェクト特徴量を返す。
一方、カメラ２１０Ｂで取得した映像は、オブジェクト特徴量抽出部２２０Ｂへ入力され（Ｓ３０７）、オブジェクトを検出してそのオブジェクトの模様などの特徴量の抽出が行われる（Ｓ３０９）。この処理も、オブジェクト特徴量抽出部２２０Ａと同様で、得られたオブジェクト特徴量はオブジェクト照合部２４０へ出力される。
オブジェクト照合部２４０では、オブジェクト特徴量抽出部２２０Ｂで抽出されたクエリとなるオブジェクト特徴量が入力されると、照合すべきオブジェクト特徴量を特徴量記憶部２３０から読み出して（Ｓ３１１）、オブジェクト特徴量同士の解像度情報が反映された照合を行う（Ｓ３１３）。すなわち、オブジェクト特徴量間の類似度を算出し、同一オブジェクトかどうかを判定する。この際、該当するオブジェクトが他のカメラ（この場合はカメラ２１０Ａ）に映った時刻を予測し、その前後の時刻に取得されたオブジェクト特徴量を読みだして照合するようにしてもよい。あるいは、該当するオブジェクトが他のカメラ（この場合はカメラ２１０Ｂ）に映る時刻を予測し、その前後の時刻に取得されたオブジェクト特徴量を選択して照合するようにしてもよい。得られた結果はオブジェクト照合結果として出力される（Ｓ３１５－Ｓ３１７）。
かかる手順は、オペレータから終了の指示を受けるまで繰り返される（Ｓ３１９）。
《オブジェクト特徴量抽出装置（部）の機能構成》
図４は、本実施形態に係るオブジェクト特徴量抽出装置（部）２２０の機能構成を示すブロック図である。なお、オブジェクト特徴量抽出装置と表現する場合は独立した装置を示し、オブジェクト特徴量抽出部と表現する場合は他の機能と組み合わされる１機能を示すものとする。
オブジェクト特徴量抽出装置（部）２２０は、オブジェクト検出部４０１と、特徴量抽出部４０２と、を備える。ここで、オブジェクト検出部４０１は図１のオブジェクト検出部１０１と同様の機能要素であり、特徴量抽出部４０２は図１の特徴量抽出部１０２と同様の機能要素である。
ここで、本実施形態の特徴量抽出部４０２は、一次特徴量抽出部４２１と、特徴量生成部４２２と、を備える。一次特徴量抽出部４２１は、画像情報とオブジェクト検出部４０１から出力される領域情報とを入力とし、一次特徴量を特徴量生成部４２２へ出力する。
特徴量生成部４２２は、一次特徴量抽出部４２１から出力される一次特徴量と、オブジェクト検出部４０１から出力される解像度情報とから、パターンや模様などの特徴量を生成して、オブジェクト特徴量として出力する。
（一次特徴量抽出部）
一次特徴量抽出部４２１では、模様やパターンの基本となる特徴量を抽出する。例えば、模様の局所的な特徴を反映した局所特徴量を抽出する。抽出の方法としては、いろいろやり方があるが、キーポイントとなる点をまず抽出し、その周辺の特徴量を抽出する。あるいは、領域に規則的に配列されたグリッドを当てはめ、グリッド点のところで特徴量を抽出する。この際、グリッドの間隔をオブジェクト領域の大きさによって正規化するようにしてもよい。ここで抽出する特徴量としては、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speed-Up Robust Features ）、ＯＲＢ（Oriented FAST and Rotated BRIEF）など、様々なものを用いることが可能である。また、Haar-like特徴やガボールウェーブレット、ＨＯＧ（Histograms of Oriented Gradients）等の特徴量でもよい。
また、オブジェクトの領域を複数の小領域に区切って、小領域ごとに特徴量を抽出するようにしてもよい。オブジェクトが人物の場合、例えば、服領域を水平線で区切った横長の領域ごとに特徴点を求め、特徴量を抽出するようにしてもよい。あるいは、垂直方向Ｎ個および水平方向Ｍ個の一定数の領域に分割し、それぞれの領域ごとに上述の特徴量を抽出し、それらを繋ぎ合わせて一次特徴量としてもよい。例えば、１つの領域の特徴量がＬ次元のとき、垂直方向Ｎ個および水平方向Ｍ個の領域に分割した場合には、（Ｌ×Ｍ×Ｎ）次元のベクトルが特徴量となる。なお、小領域の区切り方は規則的でなくてもよい。例えば、オブジェクトが人物の場合、上半身と下半身（あるいは、さらにそれぞれを何分割かに分割）のように、身体の部位に合わせて小領域を設定してもよい。
このようにして生成された一次特徴量は、特徴量生成部４２２へ出力される。
（特徴量生成部）
特徴量生成部４２２では、例えばオブジェクトが人物の場合、一次特徴量抽出部４２１から出力される服などの特徴量と、オブジェクト検出部４０１から出力される解像度情報とに基づいて、服など照合に用いる特徴量を生成して、オブジェクト特徴量として出力する。
（第１生成方法）
例えば、一次特徴量をクラスタリングして得られる視覚キーワードを事前の学習で生成しておき、どの視覚キーワードに相当するかを判定して、ヒストグラムを作って特徴量とする。この際、ヒストグラムとともに、解像度情報も分離可能な形で付加してオブジェクト特徴量とする。一次特徴量が小領域単位で求まっている場合には、小領域ごとに視覚キーワードのヒストグラムを生成して小領域を繋げた上で、全体に対して解像度情報を分離可能な形で付加するようにしてもよい。
（第２生成方法）
あるいは、視覚キーワードのヒストグラムを作る際に、解像度情報を用いて、得られた一次特徴量から各視覚キーワードが生起している確率を求め、その値によって重みづけすることによって、ヒストグラムを算出するようにしてもよい。ここで、視覚キーワードの個数をＮ、個々の視覚キーワードをｘn（n=1,…,N）で表すことにする。また、得られた一次特徴量の個数をＪ、個々の得られた一次特徴量をｙj（j=1,…,J）で表すことにする。また、解像度情報により、解像度のレベルをＫ段階に分け、解像度インデックス（k=1,…,K）により区別することとする。解像度インデックスがｋのときに、ｙjが得られたときの各視覚キーワードｘnの生起確率をｐk(ｘn|ｙj)で表すことにすると、一次特徴量ｙjが取得されたときに、生起確率ｐk(ｘn|ｙj)の値を各視覚キーワードｘnに対応するビンに加算していき、ヒストグラムを生成するようにすればよい。
よって、各視覚キーワードｘnに対応するヒストグラムのビンの値をｈnとすると、
Figure 0007180590000001
 となる。
また、生起確率ｐk(ｘn|ｙj)の値は、
Figure 0007180590000002
 と書くことができる。
ここで、ｐk(ｙj|ｘn)は、解像度インデックスｋで表される解像度のときに、視覚キーワードｘnの模様パターンの特徴量がｙjとなる確率、ｐ(ｘn)は、視覚キーワードｘnの事前確率(視覚キーワードｘnがどの程度の頻度で発生するかであり、解像度に非依存)である。
ｐk(ｙj|ｘn)は、視覚キーワードｘnの特徴量が解像度インデックスｋに対応する解像度の際にどのように分布するかを調べる（データを使って学習する）ことによって事前に求めることができる。また、ｐ(ｘn)についても、事前に様々なオブジェクトの模様パターン（人物の場合には服の模様パターンや、服の重ね着によって生じるパターンなど）を調べることによって、どのような模様が服で多く使われるかを求め、分布を出すことができる。あるいは、そのような事前知識がない場合には、一様な分布としてもよい。これらの値を用いて、（数２）の値を計算できる。
このようにして解像度インデックスｋごと、一次特徴量ｙjの値ごとに、ｐk(ｘn|ｙj)を求めて保存しておき、実際にその値が生じたときに、（数１）にしたがって特徴量を算出する。
上述のようにしてパターンや模様のオブジェクト特徴量を算出することができる。この場合も、解像度情報を一緒に付加するようにしてもよい。また、一次特徴が小領域ごとに分かれて求まっているときには、小領域ごとに特徴を求め、それらを合わせてパターンや模様のオブジェクト特徴量としてもよい。
《オブジェクト照合部の機能構成》
図５は、本実施形態に係るオブジェクト照合部２４０の機能構成を示すブロック図である。なお、オブジェクト照合部２４０は、模様などのオブジェクト特徴量に解像度情報が分離可能な状態で統合されている場合の、オブジェクト照合部の構成例である。
（構成）
図５を参照するとオブジェクト照合部２４０は、解像度情報分離部５０１と、解像度情報分離部５０２と、信頼度算出部５０３と、特徴照合部５０４と、を備える。解像度情報分離部５０１は、第１特徴量２３０ａから第１解像度情報を分離し、第１解像度情報と第１特徴量のデータとを出力する。解像度情報分離部５０２は、第２特徴量２２０ｂから第２解像度情報を分離し、第２解像度情報と第２特徴量のデータとを出力する。信頼度算出部５０３は、解像度情報分離部５０１から出力される第１解像度情報と、解像度情報分離部５０２から出力される第２解像度情報とから信頼度を算出し、信頼性を表わす指標である信頼度情報を出力する。特徴照合部５０４は、信頼度算出部５０３から算出される信頼度に基づいて、解像度情報分離部５０１から出力される第１特徴量のデータと、解像度情報分離部５０２から出力される第２特徴量のデータとを照合し、照合結果を出力する。
（動作）
特徴量記憶部２３０から読み出された第１特徴量２３０ａは、解像度情報分離部５０１へ入力される。解像度情報分離部５０１では、入力された第１特徴量２３０ａから、解像度に相当する情報を抽出して第１解像度情報として出力するとともに、解像度以外の模様の特徴を表すデータを第１特徴量のデータとして出力する。オブジェクト特徴量抽出装置（部）２２０Ｂからの第２特徴量２２０ｂは解像度情報分離部５０２へ入力される。解像度情報分離部５０２でも、解像度情報分離部５０１と同様にして、解像度情報を分離し、第２解像度情報と第２特徴量のデータとを出力する。
分離された第１解像度情報と第２解像度情報とは、信頼度算出部５０３へ入力される。
信頼度算出部５０３では、解像度の情報から、特徴量同士の照合結果を信頼できる度合を表す信頼度を算出して出力する。
一方、分離された第１特徴量のデータと第２特徴量のデータとは、特徴照合部５０４へ入力される。特徴照合部５０４では、模様などのオブジェクト特徴量同士の比較を行う。
単純に特徴量間の類似度や距離を算出し、一定閾値以上の類似度を有し、類似性が高い場合に同一オブジェクトと判定するようにして、照合結果を出力する。あるいは、ニューラルネット等で生成した判定器を用い、それに第１特徴量のデータと第２特徴量のデータとを入力して同一かどうか判定するようにしてもよい。この際、信頼度算出部５０３で算出された信頼度に応じて照合の基準を調整し、同一判定を行ってもよい。また、照合結果は、単純に同一かどうかという２値の判定ではなく、同一性の高さを表す数値を照合結果として出力してもよい。また、信頼度算出部５０３から出力される信頼度を照合結果に付加してもよい。
《オブジェクト特徴量抽出装置（部）のハードウェア構成》
図６は、本実施形態に係るオブジェクト特徴量抽出装置（部）２２０のハードウェア構成を示すブロック図である。
図６で、ＣＰＵ６１０は演算制御用のプロセッサであり、プログラムを実行することで図４の機能構成部を実現する。ＣＰＵ６１０は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭ６２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。ネットワークインタフェース６３０は、オブジェクト特徴量抽出装置（部）２２０が他の機器と分離されている場合に、ネットワークを介して、カメラ２１０、特徴量記憶部２３０、または、オブジェクト照合部２４０を含むオブジェクト追跡装置などとの通信を制御する。
ＲＡＭ６４０は、ＣＰＵ６１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ６４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。撮像画像データ６４１は、カメラ２１０から取得した画像データである。オブジェクト検出結果６４２は、撮像画像データ６４１に基づいて検出したオブジェクトの検出結果である。オブジェクト検出結果６４２には、（第１オブジェクト、領域情報／解像度情報）から（第ｎオブジェクト、領域情報／解像度情報）までの（オブジェクト、領域情報／解像度情報６４３）の組が記憶される。特徴量抽出テーブル６４４は、撮像画像データ６４１と領域情報／解像度情報６４３とに基づいてオブジェクト特徴量を抽出するためのテーブルである。特徴量抽出テーブル６４４には、第１オブジェクト用テーブルから第ｎオブジェクト用テーブルまでのテーブル６４５が記憶される。オブジェクト特徴量６４６は、特徴量抽出テーブル６４４を用いてオブジェクト単位で抽出されたオブジェクトの特徴量である。
ストレージ６５０は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。オブジェクト検出用データとパラメータ６５１は、撮像画像データ６４１に基づいてオブジェクトを検出するために用いられるデータとパラメータである。特徴量抽出用データとパラメータ６５２は、撮像画像データ６４１と領域情報／解像度情報６４３とに基づいてオブジェクト特徴量を抽出するために用いられるデータとパラメータである。特徴量抽出用データとパラメータ６５２には、一次特徴量抽出用６５３と特徴量生成用６５４とが含まれる。
ストレージ６５０には、以下のプログラムが格納される。オブジェクト特徴量抽出プログラム６５５は、オブジェクト特徴量抽出装置２２０の全体を制御するためのプログラムである。オブジェクト検出モジュール６５６は、オブジェクト検出用データとパラメータ６５１を用いて、撮像画像データ６４１に基づいてオブジェクトを検出するモジュールである。一次特徴量抽出モジュール６５７は、一次特徴量抽出用６５３のデータとパラメータを用いて、撮像画像データ６４１と領域情報とに基づいて一次特徴量を抽出するモジュールである。特徴量生成モジュール６５８は、特徴量生成用６５４のデータとパラメータを用いて、一次特徴量と解像度情報とに基づいてオブジェクト特徴量を生成するモジュールである。
オブジェクト特徴量抽出装置（部）２２０がカメラ２１０と一体化されたインテリジェントカメラ２５０として提供される場合は、入力出力インタフェース６６０と、入力出力インタフェース６６０に接続されるカメラ２１０とカメラ２１０を制御するカメラ制御部６６１とを、さらに有する。
なお、図６のＲＡＭ６４０やストレージ６５０には、オブジェクト特徴量抽出装置（部）２２０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
（特徴量抽出テーブル）
図７は、本実施形態に係るオブジェクト特徴量抽出装置（部）２２０における特徴量抽出テーブル６４４の構成を示す図である。特徴量抽出テーブル６４４は、撮像画像データと領域情報／解像度情報とに基づいてオブジェクト特徴量を抽出するために使用されるテーブルである。
特徴量抽出テーブル６４４は、カメラＩＤ７０１に対応付けて、当該カメラで撮像された画像データ７０２を記憶する。画像データ７０２は、画像ＩＤとその画像が撮像されたタイムスタンプとを含む。なお、画像は静止画も動画も含む。各画像データ７０２に対応付けて、オブジェクト検出情報７０３と、特徴量情報７０４と、を記憶する。オブジェクト検出情報７０３は、オブジェクトＩＤと領域情報と解像度情報とを含む。また、特徴量情報７０４は、一次特徴量とオブジェクト特徴量とを含む。
《オブジェクト特徴量抽出装置（部）の処理手順》
図８は、本発明の第２実施形態に係るオブジェクト特徴量抽出装置（部）２２０の処理手順を示すフローチャートである。このフローチャートは、図６のＣＰＵ６１０がＲＡＭ６４０を使用して実行し、図４の機能構成部を実現する。以下、特徴量抽出装置２２０と略して説明する。
特徴量抽出装置２２０は、ステップＳ８０１において、カメラにより撮像された画像の画像データを取得する。特徴量抽出装置２２０は、ステップＳ８０３において、画像データに基づいて画像からオブジェクトを検出し、領域情報および解像度情報を生成する。特徴量抽出装置２２０は、ステップＳ８０５において、画像データに基づいて、画像から、領域情報を用いてオブジェクトの一次特徴を抽出する。特徴量抽出装置２２０は、ステップＳ８０７において、一次特徴から、解像度情報を用いてオブジェクト特徴量を生成する。そして、特徴量抽出装置２２０は、ステップＳ８０９において、例えば服のパターンや模様のオブジェクト特徴量を出力する。特徴量抽出装置２２０は、ステップＳ８１１において、オペレータからの処理の終了指示を判定し、指示がなければカメラからの画像のオブジェクト特徴量抽出と出力とを繰り返す。
（照合テーブル）
図９は、本実施形態に係るオブジェクト照合部２４０の照合テーブル９００の構成を示す図である。照合テーブル９００は、オブジェクト照合部２４０において、少なくとも２つのオブジェクトの特徴量を、解像度情報を考慮して照合するために使用される。
照合テーブル９００は、照合する第１オブジェクト情報９０１および第２オブジェクト情報９０２を記憶する。第１オブジェクト情報９０１および第２オブジェクト情報９０２は、カメラＩＤと、タイムスタンプと、オブジェクトＩＤと、特徴量と、を含む。また、照合テーブル９００は、第１オブジェクトの特徴量から分離された第１オブジェクトの解像度情報９０３と、第２オブジェクトの特徴量から分離された第２オブジェクトの解像度情報９０４と、を記憶する。さらに、照合テーブル９００は、第１オブジェクトの解像度情報９０３と第２オブジェクトの解像度情報９０４とから判定された信頼度情報９０５と、信頼度情報９０５を参照して第１オブジェクト特徴量と第２オブジェクト特徴量とを照合した照合結果９０６と、を記憶する。
《オブジェクト照合部の処理手順》
図１０は、本実施形態に係るオブジェクト照合部２４０の処理手順を示すフローチャートである。このフローチャートは、オブジェクト照合部２４０を制御する不図示のＣＰＵがＲＡＭを使用して実行し、図４の機能構成部を実現する。
オブジェクト照合部２４０は、ステップＳ１００１において、第１オブジェクトの特徴量を取得する。オブジェクト照合部２４０は、ステップＳ１００３において、第１オブジェクトの特徴量から第１解像度情報９０３を分離する。オブジェクト照合部２４０は、ステップＳ１００５において、第２オブジェクトの特徴量を取得する。オブジェクト照合部２４０は、ステップＳ１００７において、第２オブジェクトの特徴量から第２解像度情報９０４を分離する。
オブジェクト照合部２４０は、ステップＳ１００９において、第１解像度情報９０３と第２解像度情報９０４とから、信頼度情報９０５を算出する。オブジェクト照合部２４０は、ステップＳ１０１１において、第１オブジェクト特徴量と第２オブジェクト特徴量とを、信頼度情報を参照して照合する。オブジェクト照合部２４０は、ステップＳ１０１３において、一致したか否かを判定し、一致したならばステップＳ１０１５において、一致した第１オブジェクトと第２オブジェクトとの情報を出力する。オブジェクト照合部２４０は、ステップＳ１０１７において、オペレータからの処理の終了指示を判定し、指示がなければオブジェクトの照合と照合結果の出力とを繰り返す。
本実施形態によれば、解像度に応じた特徴の変化を考慮してオブジェクト特徴量を抽出し、解像度による信頼度を考慮してオブジェクト特徴量を照合するため、照合ミスによる追跡漏れや検索漏れを少なく抑えることができる。
［第３実施形態］
次に、本発明の第３実施形態に係るオブジェクト特徴量抽出装置とオブジェクト特徴量抽出装置を含むオブジェクト追跡システムとについて説明する。本実施形態に係るオブジェクト特徴量抽出装置とオブジェクト特徴量抽出装置を含むオブジェクト追跡システムとは、上記第２実施形態と比べると、オブジェクト特徴量抽出装置の特徴量抽出部と、オブジェクト追跡システムのためのオブジェクト照合部とが、１つの機能構成部で実現されている点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
《オブジェクト特徴量抽出装置（部）の機能構成》
図１１は、本実施形態に係るオブジェクト特徴量抽出装置（部）１２２０の機能構成を示すブロック図である。なお、図１１において、図４と同様の機能構成部には同じ参照番号を付して、重複する説明は省略する。
（構成）
オブジェクト特徴量抽出装置（部）１１２０は、オブジェクト検出部４０１と、１つの特徴識別部１１２１を有する特徴量抽出部１１０２とを備える。特徴識別部１１２１は、オブジェクト検出部４０１で生成された領域情報および解像度情報と、画像データとを入力し、特徴量を生成してオブジェクト特徴量として出力する。
（動作）
領域情報および解像度情報と画像データとは、特徴識別部１１２１へ入力される。特徴識別部１１２１は、例えば、様々な模様の特徴を様々な解像度で撮影して分類するように学習された識別器であり、模様を特徴とする場合、入力は服領域内の小領域の画素値と解像度情報とで、出力は各模様の特徴の尤度（“０”から“１”の値で、“１”に近いほどその模様の特徴である可能性が高い）である。Ｎ個の模様の特徴を分類する場合には、Ｎ個の模様の特徴の尤度が出力となり、これをパターンや模様を示す特徴量とする。
複数の小領域で求める場合には、小領域ごとに求まる尤度を合わせたものをパターンや模様を示す特徴量とすればよい。識別器は、例えばニューラルネットワークにより構成することができる。この際、画素値と解像度とを一緒に入力して学習させた識別器を用いてもよいし、あるいは、解像度別に個別に学習させた識別器を用いて、解像度情報によって切り替えて用いるようにしてもよい。なお、入力となる小領域は複数あってもよく、その場合、複数の小領域同士は重なりがあっても重なりがなくてもよい。また、小領域の大きさは全て同じであってもよいし、大きさが異なるものがあってもよい。また、小領域の大きさは、服領域の大きさに合わせて正規化するようにしてもよい。
なお、服の模様を例に説明したが、例えば車などの他の追跡対象の場合は、照合ミスによる追跡漏れや検索漏れを少なく抑えることができる特徴が選択されて、その特徴量が抽出される。
《オブジェクト照合部の機能構成》
図１２は、本実施形態に係るオブジェクト照合部１２４０の機能構成を示すブロック図である。なお、図１２において、図５と同様の要素には同じ参照番号を付して、重複する説明を省略する。
図１２のオブジェクト照合部１２４０は、１つの特徴照合部１２０１を有する。特徴照合部１２０１へは、第１特徴量２３０ａと第２特徴量２２０ｂとが入力される。特徴照合部１２０１では、解像度情報が組み込まれた両者の類似度を算出し、第１オブジェクトと第２オブジェクトとが同一か否かを判定し、照合結果として出力する。
本実施形態によれば、より単純な構成で、解像度に応じた特徴の変化を考慮してオブジェクト特徴量を抽出し、解像度による信頼度を考慮してオブジェクト特徴量を照合し、照合ミスによる追跡漏れや検索漏れを少なく抑えることができる。
［第４実施形態］
次に、本発明の第４実施形態に係るオブジェクト追跡システムのオブジェクト照合部について説明する。本実施形態に係るオブジェクト照合部は、上記第２実施形態と比べると、信頼度算出部が無く、分離された第１解像度情報と第２解像度情報とが直接、特徴照合部に入力される点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
《オブジェクト照合部の機能構成》
図１３は、本実施形態に係るオブジェクト照合部１３４０の機能構成を示すブロック図である。なお、図１３において、図５と同様の機能構成部には同じ参照番号を付して、説明を省略する。
（構成）
図１３を参照すると、オブジェクト照合部１３４０は、解像度情報分離部５０１と、解像度情報分離部５０２と、特徴照合部１３０４と、を備える。特徴照合部１３０４は、解像度情報分離部５０１から出力される第１解像度情報と解像度情報分離部５０２から出力される第２解像度情報とを用い、解像度情報分離部５０１から出力される第１特徴量のデータと、解像度情報分離部５０２から出力される第２特徴量のデータとを照合し、照合結果を出力する。
（動作）
特徴照合部１３０４においては、第１特徴量のデータと第２特徴量のデータとを比較し、オブジェクトが同一かどうかを判定する。その場合に、第１解像度情報と第２解像度情報も特徴照合部１３０４に入力され、照合に用いられる。例えば、解像度ごとに照合の確からしさを学習した識別器を用いて、第１特徴量のデータと第２特徴量のデータが同一である度合を判定し、照合結果として出力する。この場合も、同一か否かの２値でなく、同一性の高さを表す数値を照合結果として出力してよい。
本実施形態によれば、信頼度算出部を設けないので、より簡単な構成のオブジェクト照合部で照合ミスによる追跡漏れや検索漏れを少なく抑えることができる。
［第５実施形態］
次に、本発明の第５実施形態に係るオブジェクト特徴量抽出装置について説明する。本実施形態に係るオブジェクト特徴量抽出装置は、上記第２実施形態および第３実施形態と比べると、オブジェクト追跡により特徴の変化を学習して、学習結果を反映させたオブジェクト特徴量の抽出をする点で異なる。その他の構成および動作は、第２実施形態または第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
《オブジェクト特徴量抽出装置（部）の機能構成》
図１４は、本実施形態に係るオブジェクト特徴量抽出装置（部）１４２０の機能構成を示すブロック図である。なお、図１４において、図４と同様の機能構成部には同じ参照番号を付して、重複する説明を省略する。
（構成）
図１４を参照すると、オブジェクト特徴量抽出装置（部）１４２０は、オブジェクト検出部４０１と、特徴量抽出部１４０２と、オブジェクト追跡部１４０３、特徴学習部１４０４と、を備える。なお、オブジェクト検出部４０１は、図４のものと同様である。
オブジェクト追跡部１４０３は、オブジェクト検出部４０１から出力される領域情報と、入力される画像の画像データに基づいてオブジェクトのフレーム間での追跡を行い、オブジェクトの追跡識別子（以下、追跡ＩＤ）を出力する。特徴学習部１４０４は、オブジェクト検出部４０１から出力される解像度情報および領域情報と、オブジェクト追跡部１４０３から出力される追跡結果と、特徴量抽出部１４０２の一次特徴量抽出部４２１から出力される一次特徴量とを用いて、特徴量の解像度による変化を学習し、学習結果を特徴量抽出部１４０２の特徴量生成部１４２２へ出力する。特徴量生成部１４２２は、画像データと、オブジェクト検出部４０１から出力される領域情報および解像度情報と、特徴学習部１４０４から出力される特徴の学習結果とから、オブジェクトのパターンや模様などの特徴量を抽出してオブジェクト特徴量として出力する。
（動作）
オブジェクト検出部４０１の動作は、図４の場合と同様であり解像度情報と領域情報とを検出されたオブジェクトごとに出力する。出力された解像度情報は、特徴量抽出部１４０２の一次特徴量抽出部４２１へ入力される。一方、出力された解像度情報は、特徴量抽出部１４０２の特徴量生成部１４２２に加え、オブジェクト追跡部１４０３および特徴学習部１４０４へも入力される。
オブジェクト追跡部１４０３では、入力されるオブジェクト検出の結果を、それまでに得られているオブジェクトの追跡結果と対応付けることによって、現在のフレームに対する追跡結果を算出する。この際、追跡には、既存の様々な手法を用いることができる。例えば、カルマンフィルタによる追跡や、パーティクルフィルタによる追跡手法を用いることができる。この結果、各検出オブジェクトに対する追跡ＩＤが算出される。算出された追跡ＩＤは、特徴学習部１４０４へ出力される。
特徴学習部１４０４では、オブジェクト検出部４０１から出力されるオブジェクトごとの解像度情報および領域情報と、オブジェクト追跡部１４０３から出力されるオブジェクトごとの追跡ＩＤの情報と、特徴量抽出部１４０２の一次特徴量抽出部４２１から出力されるオブジェクトごとの一次特徴量とから、解像度が特徴量に与える影響を学習し、各解像度に対する事後確率情報を求める。
まず、同一追跡ＩＤに対応する一次特徴量をグループ化する。この際、さらにオブジェクト領域内での位置も考慮してクループ化してもよい。例えば、同一追跡ＩＤを持つ人物のｍ番目の小領域に属する特徴量の場合には、同じｍ番目の小領域に位置する特徴量同士を集めてグループ化する。なお、グループ化した個々の特徴量から対応する解像度情報もすぐに求まるように対応付けられているものとする。次に、グループ化した特徴量の中で、解像度が一定以上高い特徴量を基準として、元の模様特徴が視覚キーワードｘn（n=1,…,N）のどれに相当するかを求める。これにより、このグループの特徴量を用いることにより、ｘnが解像度によってどのように変化するかがわかるようになる。これを、確実に追跡できた複数の人物に対して反復することで、各ｘnが解像度に依存してどのように変化するかを学習する。学習の結果は、特徴量抽出部１４０２の特徴量生成部１４２２へ出力され、後の特徴量生成で用いられる。
これにより、カメラごとに特徴量の解像度による変化の影響が自動的に学習されるため、より模様特徴の識別に適した特徴量を得ることが可能となる。なお、オブジェクトが人物のとき、オンライン学習は、実際の運用時に、人物が少なく追跡の誤りがないと考える場合に限定して、データを用いて学習するようにしてもよい。あるいは、服の模様を特徴とする場合、設置時に、様々な模様の服を着て歩くことによって、システムに学習させて用いるようにしてもよい。この際、様々な特徴量が描かれた服を着て学習するようにしてもよい。
（特徴量抽出テーブル）
図１５は、本実施形態に係るオブジェクト特徴量抽出装置（部）１４２０における特徴量抽出テーブル１５００の構成を示す図である。特徴量抽出テーブル１５００は、撮像画像データと領域情報／解像度情報とに基づいて、オブジェクト追跡による学習結果を用いてオブジェクト特徴量を抽出するために使用されるテーブルである。
特徴量抽出テーブル１５００は、オブジェクトの追跡ＩＤ１５０１のそれぞれに対応付けて、オブジェクト追跡情報１５０２と学習用情報１５０３とを蓄積する。そして、オブジェクト追跡情報１５０２と学習用情報１５０３とから、特徴学習情報１５０４を生成する。ここで、オブジェクト追跡情報１５０２は、画像ＩＤとタイムスタンプと領域情報とを含み、学習用情報１５０３は一次特徴量と解像度情報とを含む。
《オブジェクト特徴量抽出装置（部）の処理手順》
図１６は、本実施形態に係るオブジェクト特徴量抽出装置（部）１４２０の処理手順を示すフローチャートである。このフローチャートは、ＣＰＵ６１０がＲＡＭ６４０を使用して実行して図１４の機能構成部を実現する。なお、図１６において、図８と同様のステップには同じステップ番号を付して、重複する説明を省略する。また、特徴量抽出装置１４２０と略して説明する。
特徴量抽出装置１４２０は、ステップＳ１６０６において、画像データから領域情報を用いてオブジェクトを追跡する。特徴量抽出装置１４２０は、ステップＳ１６０７において、オブジェクトごとに、一次特徴量と領域情報と解像度情報とから特徴学習情報を生成する。そして、特徴量抽出装置１４２０は、ステップＳ１６０８において、一次特徴量から、解像度情報と特徴学習情報とを用いて、オブジェクト特徴量を生成する。
本実施形態によれば、オブジェクト追跡により特徴の変化を学習して学習結果を反映させたオブジェクト特徴量を抽出するので、照合ミスによる追跡漏れや検索漏れをさらに少なく抑えるオブジェクト特徴量を生成することができる。
［第６実施形態］
次に、本発明の第６実施形態に係るオブジェクト追跡システムのオブジェクト特徴量抽出部について説明する。本実施形態に係るオブジェクト特徴量抽出部は、上記第２実施形態乃至第５実施形態と比べると、オブジェクト追跡処理を行なうサーバとしてのオブジェクト追跡装置においてオブジェクト特徴量の抽出を行なう点で異なる。その他の構成および動作は、第２実施形態から第５実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
《オブジェクト特徴量抽出装置（部）の機能構成》
図１７は、本実施形態に係るオブジェクト特徴量抽出装置（部）の機能構成を示すブロック図である。なお、図１７において、図４または図１４と同様の機能構成部には同じ参照番号を付して、重複する説明を省略する。
オブジェクト追跡部１７０３は、図１４に示すような１つのカメラからの画像でなく、図１７に示すように少なくとも２つのカメラからの画像データに基づいてオブジェクトを追跡する。そして、特徴学習部１７０４は、オブジェクト追跡部１７０３からの追跡情報と、少なくとも２つの一次特徴量抽出部４２１からの一次特徴量とを用いて、オブジェクトの特徴を学習し、少なくとも２つの特徴量生成部１４２２の特徴生成に学習結果を出力する。
本実施形態によれば、第２実施形態の独立したオブジェクト特徴量抽出装置や、カメラとオブジェクト特徴量抽出部とが一体となったインテリジェント撮像装置とは異なって、オブジェクト追跡処理を行なうサーバでオブジェクト特徴量の抽出をオブジェクト追跡と同時に処理する。したがって、迅速でより広範囲の情報を用いた効率的なオブジェクト追跡ができる。
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。例えば、「オブジェクト特徴量抽出装置（部）」と「オブジェクト照合部」との組合せは、上記実施形態に限定されずに、異なる実施形態の構成が組み合わされてもよい。
また、本発明によれば、例えば位置が離れた2つの場所のカメラを使って、特定オブジェクト（人や車）を追跡することができるようになる。例えば、事件が起きたときに、複数カメラを用いて犯人を追跡したりする目的で利用することができる。また、迷子になった子がいるときに、複数カメラ間で検索し、迷子を見つける目的で利用することができる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
［実施形態の他の表現］
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成するオブジェクト検出手段と、
前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する特徴量抽出手段と、
を備えるオブジェクト特徴量抽出装置。
（付記２）
前記特徴量抽出手段は、前記領域情報で定められる領域内の前記画像から一次特徴量を抽出し、前記一次特徴量に前記解像度情報を分離可能に付加して前記オブジェクトの特徴を表す特徴量を生成する
付記１に記載のオブジェクト特徴量抽出装置。
（付記３）
前記特徴量抽出手段は、前記領域情報で定められる領域内の前記画像から抽出した特徴量を、前記解像度情報により変換して前記オブジェクトの特徴を表す特徴量を生成する
付記１に記載のオブジェクト特徴量抽出装置。
（付記４）
前記特徴量抽出手段は、前記領域情報で定められる領域内の前記画像から抽出した特徴量に対して、前記解像度情報に基づいて尤度を求め、前記求めた尤度に基づいて前記オブジェクトの特徴を表す特徴量を生成する
付記３に記載のオブジェクト特徴量抽出装置。
（付記５）
前記特徴量抽出手段は、前記領域情報で定められる領域内の前記画像に含まれる複数の小領域に対して、前記解像度情報が示す解像度ごとに学習した識別器が出力する尤度を特徴量とする
付記１乃至４のいずれか１項に記載のオブジェクト特徴量抽出装置。
（付記６）
前記領域情報で定められる領域内の画像の特徴量を時系列で比較することにより、異なる時刻の画像間における同一オブジェクトを判定し、前記同一オブジェクトを識別する追跡識別子を生成して出力するオブジェクト追跡手段と、
前記特徴量抽出手段で算出される前記一次特徴量を、前記領域情報と前記解像度情報と前記追跡識別子とに基づいてグループ化するとともに、グループ内で解像度が高い領域から求まった一次特徴量に基づいて元の特徴量を推定し、前記推定した元の特徴量が解像度によってどのように値が変化するかを学習し、学習した結果を前記特徴量抽出手段にフィードバックする特徴学習手段と、
をさらに備える付記２に記載のオブジェクト特徴量抽出装置。
（付記７）
それぞれ、付記１乃至６のいずれか１項に記載のオブジェクト特徴量抽出装置である、第１オブジェクト特徴量抽出装置と、第２オブジェクト特徴量抽出装置と、を含み、
前記第１オブジェクト特徴量抽出装置により第１画像から検出されたオブジェクトの領域における、第１解像度情報を含む第１特徴量を記憶する特徴量記憶手段と、
付記 前記第２オブジェクト特徴量抽出装置により前記第１画像と異なる第２画像から検出されたオブジェクトの領域における、第２解像度情報を含む第２特徴量と、前記特徴量記憶手段から読み出された前記第１解像度情報を含む第１特徴量とを照合し、前記第１解像度情報と前記第２解像度情報とを考慮して同一のオブジェクトか否かを判定するオブジェクト照合手段と、
を備えるオブジェクト追跡システム。
（付記８）
少なくとも撮像部とオブジェクト特徴量抽出部とを有するインテリジェント撮像装置であって、
前記オブジェクト特徴量抽出部は、
前記撮像部が撮像した画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成するオブジェクト検出手段と、
前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する特徴量抽出手段と、
を備えるインテリジェント撮像装置。
（付記９）
画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成し、
前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する、特徴量抽出を行う
オブジェクト特徴量抽出方法。
（付記１０）
前記領域情報で定められる領域内の前記画像から一次特徴量を抽出し、前記一次特徴量に前記解像度情報を分離可能に付加して前記オブジェクトの特徴を表す特徴量を生成する
付記９に記載のオブジェクト特徴量抽出方法。
（付記１１）
前記領域情報で定められる領域内の前記画像から抽出した特徴量を、前記解像度情報により変換して前記オブジェクトの特徴を表す特徴量を生成する
付記９に記載のオブジェクト特徴量抽出方法。
（付記１２）
前記領域情報で定められる領域内の前記画像から抽出した特徴量に対して、前記解像度情報に基づいて尤度を求め、前記求めた尤度に基づいて前記オブジェクトの特徴を表す特徴量を生成する
付記１１に記載のオブジェクト特徴量抽出方法。
（付記１３）
前記領域情報で定められる領域内の前記画像に含まれる複数の小領域に対して、前記解像度情報が示す解像度ごとに学習した識別器が出力する尤度を特徴量とする
付記９乃至１２のいずれか１項に記載のオブジェクト特徴量抽出方法。
（付記１４）
前記領域情報で定められる領域内の画像の特徴量を時系列で比較することにより、異なる時刻の画像間における同一オブジェクトを判定し、前記同一オブジェクトを識別する追跡識別子を生成して出力し、
前記特徴量抽出によって算出される前記一次特徴量を、前記領域情報と前記解像度情報と前記追跡識別子とに基づいてグループ化するとともに、グループ内で解像度が高い領域から求まった一次特徴量に基づいて元の特徴量を推定し、前記推定した元の特徴量が解像度によってどのように値が変化するかを学習し、学習した結果を前記特徴量抽出にフィードバックする、
付記１０に記載のオブジェクト特徴量抽出方法。
（付記１５）
付記９乃至１４のいずれか１項に記載のオブジェクト特徴量抽出方法により抽出された第１特徴量と第２特徴量とを照合するオブジェクト追跡方法であって、
前記第１特徴量は、第１画像から検出されたオブジェクトの領域における、第１解像度情報を含む特徴量であり、特徴量記憶手段に記憶され、
付記 前記第２特徴量は、前記第１画像と異なる第２画像から検出されたオブジェクトの領域における、第２解像度情報を含む特徴量であり、
前記第２特徴量と、前記特徴量記憶手段から読み出された前記第１解像度情報を含む第１特徴量とを照合し、前記第１解像度情報と前記第２解像度情報とを考慮して同一のオブジェクトか否かを判定する、
オブジェクト追跡方法。
（付記１６）
撮像部が撮像した画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成し、
前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する、
インテリジェント撮像方法。
（付記１７）
画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成するオブジェクト検出処理と、
前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する特徴量抽出処理と、
をコンピュータに実行させるオブジェクト特徴量抽出プログラムを記憶する記憶媒体。
（付記１８）
前記特徴量抽出処理は、前記領域情報で定められる領域内の前記画像から一次特徴量を抽出し、前記一次特徴量に前記解像度情報を分離可能に付加して前記オブジェクトの特徴を表す特徴量を生成する
付記１７に記載の記憶媒体。
（付記１９）
前記特徴量抽出処理は、前記領域情報で定められる領域内の前記画像から抽出した特徴量を、前記解像度情報により変換して前記オブジェクトの特徴を表す特徴量を生成する
付記１７に記載の記憶媒体。
（付記２０）
前記特徴量抽出処理は、前記領域情報で定められる領域内の前記画像から抽出した特徴量に対して、前記解像度情報に基づいて尤度を求め、前記求めた尤度に基づいて前記オブジェクトの特徴を表す特徴量を生成する
付記１９に記載の記憶媒体。
（付記２１）
前記特徴量抽出処理は、前記領域情報で定められる領域内の前記画像に含まれる複数の小領域に対して、前記解像度情報が示す解像度ごとに学習した識別器が出力する尤度を特徴量とする
付記１７乃至２０のいずれか１項に記載の記憶媒体。
（付記２２）
前記領域情報で定められる領域内の画像の特徴量を時系列で比較することにより、異なる時刻の画像間における同一オブジェクトを判定し、前記同一オブジェクトを識別する追跡識別子を生成して出力するオブジェクト追跡処理と、
前記特徴量抽出処理で算出される前記一次特徴量を、前記領域情報と前記解像度情報と前記追跡識別子とに基づいてグループ化するとともに、グループ内で解像度が高い領域から求まった一次特徴量に基づいて元の特徴量を推定し、前記推定した元の特徴量が解像度によってどのように値が変化するかを学習し、学習した結果を前記特徴量抽出処理にフィードバックする特徴学習処理と、
をコンピュータにさらに実行させる付記１８に記載の記憶媒体。
（付記２３）
付記１７乃至２２のいずれか１項に記載の記憶媒体に格納されているオブジェクト特徴量抽出プログラムを実行する、第１コンピュータに接続されている特徴量記憶手段と、第２コンピュータと、に接続されている第３コンピュータに、
第２解像度情報を含む第２特徴量と、前記特徴量記憶手段から読み出された第１解像度情報を含む第１特徴量とを照合し、前記第１解像度情報と前記第２解像度情報とを考慮して同一のオブジェクトか否かを判定するオブジェクト照合処理、
を実行させ、
前記第１特徴量は、前記第１コンピュータにより第１画像から検出されたオブジェクトの領域における、前記第１解像度情報を含む特徴量であり、前記特徴量記憶手段に格納され、
前記第２特徴量は、前記第２コンピュータにより前記第１画像と異なる第２画像から検出されたオブジェクトの領域における、前記第２解像度情報を含む特徴量である、
オブジェクト追跡プログラムを記憶する記憶媒体。
（付記２４）
少なくとも撮像部と接続されたコンピュータに、
前記撮像部が撮像した画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成するオブジェクト検出処理と、
前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する特徴量抽出処理と、
を実行させるインテリジェント撮像プログラムを記憶する記憶媒体。
以上、実施形態を参照して本発明を説明したが、本願発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１７年３月２２日に出願された日本出願特願２０１７－０５５９１３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１００ オブジェクト特徴量抽出装置
１０１ オブジェクト検出部
１０２ 特徴量抽出部
１１０ 画像
１１１ 領域情報
１１２ 解像度情報
１２１ オブジェクト特徴量
２００ オブジェクト追跡システム
２１０ カメラ
２１０Ａ カメラ
２１０Ｂ カメラ
２２０ 特徴量抽出装置
２２０ オブジェクト特徴量抽出装置（部）
２２０Ａ オブジェクト特徴量抽出部
２２０ｂ 第２特徴量
２２０Ｂ オブジェクト特徴量抽出装置（部）
２３０ 特徴量記憶部
２３０ａ 第１特徴量
２４０ オブジェクト照合部
２５０ インテリジェントカメラ
２５０Ａ インテリジェントカメラ
４０１ オブジェクト検出部
４０２ 特徴量抽出部
４２１ 一次特徴量抽出部
４２２ 特徴量生成部
５０１ 解像度情報分離部
５０２ 解像度情報分離部
５０３ 信頼度算出部
５０４ 特徴照合部
６３０ ネットワークインタフェース
６４１ 撮像画像データ
６４２ オブジェクト検出結果
６４３ 解像度情報
６４４ 特徴量抽出テーブル
６４５ テーブル
６４６ オブジェクト特徴量
６５０ ストレージ
６５１ パラメータ
６５２ パラメータ
６５３ 一次特徴量抽出用
６５４ 特徴量生成用
６５５ オブジェクト特徴量抽出プログラム
６５６ オブジェクト検出モジュール
６５７ 一次特徴量抽出モジュール
６５８ 特徴量生成モジュール
６６０ 入力出力インタフェース
６６１ カメラ制御部
７０２ 画像データ
７０３ オブジェクト検出情報
７０４ 特徴量情報
９００ 照合テーブル
９０１ 第１オブジェクト情報
９０２ 第２オブジェクト情報
９０３ 解像度情報
９０３ 第１解像度情報
９０４ 解像度情報
９０４ 第２解像度情報
９０５ 信頼度情報
９０６ 照合結果
１１０２ 特徴量抽出部
１１２０ オブジェクト特徴量抽出装置（部）
１１２１ 特徴識別部
１２０１ 特徴照合部
１２２０ オブジェクト特徴量抽出装置（部）
１２４０ オブジェクト照合部
１３０４ 特徴照合部
１３４０ オブジェクト照合部
１４０２ 特徴量抽出部
１４０３ オブジェクト追跡部
１４０４ 特徴学習部
１４２０ 特徴量抽出装置
１４２０ オブジェクト特徴量抽出装置（部）
１４２２ 特徴量生成部
１５００ 特徴量抽出テーブル
１５０２ オブジェクト追跡情報
１５０３ 学習用情報
１５０４ 特徴学習情報
１７０３ オブジェクト追跡部
１７０４ 特徴学習部

Claims (10)

  1. 画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成するオブジェクト検出手段と、
    前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する特徴量抽出手段と、
    を備え、
    前記特徴量抽出手段は、前記領域情報で定められる領域内の前記画像から一次特徴量を抽出し、前記一次特徴量に前記解像度情報を分離可能に付加して前記オブジェクトの特徴を表す特徴量を生成し、
    前記領域情報で定められる領域内の画像の特徴量を時系列で比較することにより、異なる時刻の画像間における同一オブジェクトを判定し、前記同一オブジェクトを識別する追跡識別子を生成して出力するオブジェクト追跡手段と、
    前記特徴量抽出手段で算出される前記一次特徴量を、前記領域情報と前記解像度情報と前記追跡識別子とに基づいてグループ化するとともに、グループ内で解像度が高い領域から求まった一次特徴量に基づいて元の特徴量を推定し、前記推定した元の特徴量が解像度によってどのように値が変化するかを学習し、学習した結果を、前記特徴量抽出手段にフィードバックする特徴学習手段と、
    をさらに備える
    オブジェクト特徴量抽出装置。
  2. 画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成するオブジェクト検出手段と、
    前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する特徴量抽出手段と、
    を備え、
    前記特徴量抽出手段は、前記領域情報で定められる領域内の前記画像から抽出した特徴量を、前記解像度情報により変換して前記オブジェクトの特徴を表す特徴量を生成する
    オブジェクト特徴量抽出装置。
  3. 画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成するオブジェクト検出手段と、
    前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する特徴量抽出手段と、
    を備え、
    前記特徴量抽出手段は、前記領域情報で定められる領域内の前記画像に含まれる複数の小領域に対して、前記解像度情報が示す解像度ごとに学習した識別器が出力する尤度を特徴量とする
    オブジェクト特徴量抽出装置。
  4. 前記特徴量抽出手段は、前記領域情報で定められる領域内の前記画像から抽出した特徴量に対して、前記解像度情報に基づいて尤度を求め、前記求めた尤度に基づいて前記オブジェクトの特徴を表す特徴量を生成する
    請求項２に記載のオブジェクト特徴量抽出装置。
  5. 画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成し、
    前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する、特徴量抽出を行うオブジェクト特徴量抽出方法であって、
    前記特徴量抽出を行うとき、前記領域情報で定められる領域内の前記画像から一次特徴量を抽出し、前記一次特徴量に前記解像度情報を分離可能に付加して前記オブジェクトの特徴を表す特徴量を生成し、
    前記領域情報で定められる領域内の画像の特徴量を時系列で比較することにより、異なる時刻の画像間における同一オブジェクトを判定し、前記同一オブジェクトを識別する追跡識別子を生成して出力し、
    前記特徴量抽出を行ったときに算出される前記一次特徴量を、前記領域情報と前記解像度情報と前記追跡識別子とに基づいてグループ化するとともに、グループ内で解像度が高い領域から求まった一次特徴量に基づいて元の特徴量を推定し、前記推定した元の特徴量が解像度によってどのように値が変化するかを学習し、学習した結果を、前記特徴量抽出を行うことにフィードバックする、
    オブジェクト特徴量抽出方法。
  6. 画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成し、
    前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する、特徴量抽出を行うオブジェクト特徴量抽出方法であって、
    前記特徴量抽出を行うとき、前記領域情報で定められる領域内の前記画像から抽出した特徴量を、前記解像度情報により変換して前記オブジェクトの特徴を表す特徴量を生成する
    オブジェクト特徴量抽出方法。
  7. 画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成し、
    前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する、特徴量抽出を行うオブジェクト特徴量抽出方法であって、
    前記特徴量抽出を行うとき、前記領域情報で定められる領域内の前記画像に含まれる複数の小領域に対して、前記解像度情報が示す解像度ごとに学習した識別器が出力する尤度を特徴量とする
    オブジェクト特徴量抽出方法。
  8. 画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成するオブジェクト検出処理と、
    前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する特徴量抽出処理と、
    をコンピュータに実行させ、
    前記特徴量抽出処理では、前記領域情報で定められる領域内の前記画像から一次特徴量を抽出し、前記一次特徴量に前記解像度情報を分離可能に付加して前記オブジェクトの特徴を表す特徴量を生成させ、
    前記領域情報で定められる領域内の画像の特徴量を時系列で比較することにより、異なる時刻の画像間における同一オブジェクトを判定し、前記同一オブジェクトを識別する追跡識別子を生成して出力するオブジェクト追跡処理と、
    前記特徴量抽出処理において算出される前記一次特徴量を、前記領域情報と前記解像度情報と前記追跡識別子とに基づいてグループ化するとともに、グループ内で解像度が高い領域から求まった一次特徴量に基づいて元の特徴量を推定し、前記推定した元の特徴量が解像度によってどのように値が変化するかを学習し、学習した結果を、前記特徴量抽出処理にフィードバックする特徴学習処理と
    をコンピュータに実行させるオブジェクト特徴量抽出プログラム。
  9. 画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成するオブジェクト検出処理と、
    前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する特徴量抽出処理と、
    をコンピュータに実行させ、
    前記特徴量抽出処理では、前記領域情報で定められる領域内の前記画像から抽出した特徴量を、前記解像度情報により変換して前記オブジェクトの特徴を表す特徴量を生成させる
    オブジェクト特徴量抽出プログラム。
  10. 画像からオブジェクトを検出し、前記オブジェクトの存在する領域を表す領域情報と、前記オブジェクトの解像度に係る解像度情報とを生成するオブジェクト検出処理と、
    前記領域情報で定められる領域内の前記画像から、前記解像度情報を考慮して前記オブジェクトの特徴を表す特徴量を抽出する特徴量抽出処理と、
    をコンピュータに実行させ、
    前記特徴量抽出処理では、前記領域情報で定められる領域内の前記画像に含まれる複数の小領域に対して、前記解像度情報が示す解像度ごとに学習した識別器が出力する尤度を特徴量とさせる
    オブジェクト特徴量抽出プログラム。
JP2019507570A 2017-03-22 2018-03-13 オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及びオブジェクト特徴量抽出プログラム Active JP7180590B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017055913 2017-03-22
JP2017055913 2017-03-22
PCT/JP2018/009657 WO2018173848A1 (ja) 2017-03-22 2018-03-13 オブジェクト追跡システム、インテリジェント撮像装置、オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及び記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2018173848A1 JPWO2018173848A1 (ja) 2020-01-30
JP7180590B2 true JP7180590B2 (ja) 2022-11-30

Family

ID=63586545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019507570A Active JP7180590B2 (ja) 2017-03-22 2018-03-13 オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及びオブジェクト特徴量抽出プログラム

Country Status (3)

Country Link
US (1) US20200034649A1 (ja)
JP (1) JP7180590B2 (ja)
WO (1) WO2018173848A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11875518B2 (en) 2019-04-25 2024-01-16 Nec Corporation Object feature extraction device, object feature extraction method, and non-transitory computer-readable medium
US11741712B2 (en) 2020-09-28 2023-08-29 Nec Corporation Multi-hop transformer for spatio-temporal reasoning and localization
JP7543080B2 (ja) 2020-10-21 2024-09-02 セコム株式会社 学習済みモデル及びデータ処理装置
WO2022195790A1 (ja) * 2021-03-18 2022-09-22 三菱電機株式会社 画像処理装置及び画像処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262425A (ja) 2007-04-12 2008-10-30 Canon Inc 画像処理装置及びその制御方法
WO2015025704A1 (ja) 2013-08-23 2015-02-26 日本電気株式会社 映像処理装置、映像処理方法および映像処理プログラム
JP2017041022A (ja) 2015-08-18 2017-02-23 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262425A (ja) 2007-04-12 2008-10-30 Canon Inc 画像処理装置及びその制御方法
WO2015025704A1 (ja) 2013-08-23 2015-02-26 日本電気株式会社 映像処理装置、映像処理方法および映像処理プログラム
JP2017041022A (ja) 2015-08-18 2017-02-23 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20200034649A1 (en) 2020-01-30
WO2018173848A1 (ja) 2018-09-27
JPWO2018173848A1 (ja) 2020-01-30

Similar Documents

Publication Publication Date Title
Yan et al. Face detection by structural models
JP7180590B2 (ja) オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及びオブジェクト特徴量抽出プログラム
Eweiwi et al. Temporal key poses for human action recognition
US20100111375A1 (en) Method for Determining Atributes of Faces in Images
Zhou et al. Enhance the recognition ability to occlusions and small objects with Robust Faster R-CNN
Do et al. Real-time and robust multiple-view gender classification using gait features in video surveillance
Jindal et al. Sign Language Detection using Convolutional Neural Network (CNN)
Zhang et al. Learning informative features for spatial histogram-based object detection
Curran et al. The use of neural networks in real-time face detection
Lee et al. Qualitative pose estimation by discriminative deformable part models
Viswanathan et al. Recognition of hand gestures of English alphabets using HOG method
Sadeq et al. Comparison Between Face and Gait Human Recognition Using Enhanced Convolutional Neural Network
El-Bashir et al. Face Recognition Model Based on Covariance Intersection Fusion for Interactive devices
Ogino et al. Fast eye detector using Siamese network for NIR partial face images
Ayre-Storie et al. Deep learning-based human posture recognition
Paul et al. Automatic adaptive facial feature extraction using CDF analysis
Zhi et al. Facial representation for automatic facial action unit analysis system
JP7491462B2 (ja) 因果相互作用検出装置、制御方法、及びプログラム
Parise Human identification by walk recognition using relevance vector machine
Vivekanandam et al. A credible way of face recognition and classification system in video scrutiny
Nel et al. An integrated sign language recognition system
Jahagirdar et al. A Novel Human Action Recognition and Behaviour Analysis Technique using SWFHOG
Alex et al. Local alignment of gradient features for face sketch recognition
Fathima et al. Pose Invariant Face Detection in Video
Bekhouch et al. Exploring the use of the lower part of the legs for people identification

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210215

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221031

R151 Written notification of patent or utility model registration

Ref document number: 7180590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151