JP5279517B2 - 物体検知装置及び物体検知方法 - Google Patents

物体検知装置及び物体検知方法 Download PDF

Info

Publication number
JP5279517B2
JP5279517B2 JP2009003664A JP2009003664A JP5279517B2 JP 5279517 B2 JP5279517 B2 JP 5279517B2 JP 2009003664 A JP2009003664 A JP 2009003664A JP 2009003664 A JP2009003664 A JP 2009003664A JP 5279517 B2 JP5279517 B2 JP 5279517B2
Authority
JP
Japan
Prior art keywords
reading
image
image data
area
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009003664A
Other languages
English (en)
Other versions
JP2010160743A (ja
Inventor
光太郎 矢野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009003664A priority Critical patent/JP5279517B2/ja
Priority to US12/684,030 priority patent/US8923552B2/en
Publication of JP2010160743A publication Critical patent/JP2010160743A/ja
Application granted granted Critical
Publication of JP5279517B2 publication Critical patent/JP5279517B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747Organisation of the process, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)

Description

本発明は物体検知装置、物体検知方法、プログラム及び記録媒体に関し、特に、カメラ等の撮像装置で撮影した画像から物体を検知するために用いて好適な技術に関する。
近年、セキュリティ用として監視カメラの設置が急速に普及している。また、そのような監視カメラを用いて、不審な人物や物体の侵入を自動的に検知する装置が提案されている。例えば、特許文献1に記載の侵入監視画像装置では、取り込んだ監視領域内で捉えた対象の面積、移動方向、移動速度の特徴データを抽出して、予め記憶しておいた侵入者の特徴データと比較する。そして、両者が合致した場合にその対象を侵入者として検知し警報を発するようにしている。また、処理画像と背景との差分により監視領域内で対象を捉えるようにしている。
特開平5−284501号公報 Rowley et al, "Neural network-based face detection", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.20 , NO.1, JANUARY 1998 Viola and Jones, "Rapid Object Detection using Boosted Cascade of Simple Features", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR'01)
一方、前述したような監視を広域にかつ詳細に行いたいという要望がある。その場合、複数の監視カメラを用いて広域にかつ詳細に対応するという方法が考えられるが、複数の監視カメラを設置しなければならないため、コストが多くかかるとともに、複数の監視カメラの検知結果を一括管理しなければならないという問題点がある。そこで、この問題点を解決するために高画素のイメージセンサ及び広視野の撮像レンズを備えた監視カメラを用いて対応するという方法が考えられる。ところが、この方法では、処理する画像のデータ量が膨大なものになってしまい、所望の時間内に物体を検知できないという問題点がある。
本発明は前述の問題点に鑑み、広域な範囲で、かつ詳細に物体を高速に検知できるようにすることを目的としている。
本発明の物体検知装置は所定の画像領域の画像データを所定の解像度で画像取得手段から読み出す読出手段と、前記読出手段によって読み出された第1の画像データから物体領域を検知する物体領域検知手段と、前記物体領域検知手段によって検知された物体領域から所定の物体を認識する物体認識手段と、前記物体領域検知手段によって検知された物体領域に基づいて前記第1の画像データよりも後の時刻に撮影された第2の画像データを読み出す際の画像領域決定する領域決定手段と、前記読出手段が所定時間に読み出し可能な画素数と前記領域決定手段により決定された画像領域の画素数とに基づいて、前記第2の画像データを読み出す際の解像度を決定する解像度決定手段とを有し、前記読出手段は、前記決定手段によって決定された画像領域及び解像度で前記第2の画像データを前記画像取得手段から読み出すことを特徴とする。
本発明の物体検知方法は所定の画像領域の画像データを所定の解像度で画像取得手段から読み出す読出工程と、前記読出工程において読み出された第1の画像データから物体領域を検知する物体領域検知工程と、前記物体領域検知工程において検知された物体領域から所定の物体を認識する物体認識工程と、前記物体領域検知工程によって検知された物体領域に基づいて前記第1の画像データよりも後の時刻に撮影された第2の画像データを読み出す際の画像領域決定する領域決定工程と、前記読出工程で所定時間に読み出し可能な画素数と前記領域決定工程で決定された画像領域の画素数とに基づいて、前記第2の画像データを読み出す際の解像度を決定する解像度決定工程とを有し、前記読出工程においては、前記決定工程において決定された画像領域及び解像度で前記第2の画像データを前記画像取得手段から読み出すことを特徴とする。
本発明のプログラムは、所定の画像領域の画像データを所定の解像度で画像取得手段から読み出す読出工程と、前記読出工程において読み出された第1の画像データから物体領域を検知する物体領域検知工程と、前記物体領域検知工程において検知された物体領域から所定の物体を認識する物体認識工程と、前記物体領域検知工程によって検知された物体領域に基づいて前記第1の画像データよりも後の時刻に撮影された第2の画像データを読み出す際の画像領域決定する領域決定工程と、前記読出工程で所定時間に読み出し可能な画素数と前記領域決定工程で決定された画像領域の画素数とに基づいて、前記第2の画像データを読み出す際の解像度を決定する解像度決定工程とをコンピュータに実行させ、前記読出工程においては、前記決定工程において決定された画像領域及び解像度で前記第2の画像データを前記画像取得手段から読み出すことを特徴とする。
本発明の記録媒体は、前記プログラムを記録したことを特徴とする。
本発明によれば、例えば、高画素のイメージセンサを備えた監視カメラを用いて人物や物体の侵入を検知する場合において、広域な範囲で、かつ詳細に、実用的な時間内で物体を検知することができる。
(第1の実施形態)
以下、添付図面を参照しながら、本発明を好適な実施形態について詳細に説明する。
図1は、本実施形態に係る物体検知装置100の機能構成例を示すブロック図である。
図1において、画像取得部10は、撮像レンズと、光電変換を行って画素信号を生成する撮像素子とから構成されている。なお、本実施形態では、撮像素子としては、画素毎に読み出し制御可能なCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いている。
読出部20は、画像取得部10において生成した画素信号を読み出すためのものである。また、読出部20は、画像取得部10の撮像領域から読み出す画素信号を画素毎に制御することにより、任意の解像度及び任意の領域の画素信号を読み出すことができる。さらに、読出部20は、読み出した複数の画素信号から画像データを生成し、所定の時間間隔によりフレーム単位で出力する。
物体領域検知部30は、読出部20から出力された画像データと基準モデル記憶部40に記憶されている基準モデルとを比較し、画像データから物体の写っている領域を検知して出力する。基準モデル記憶部40は、画像取得部10及び読出部20によって得られた背景のみの画像データをもとに構成される背景モデルを基準モデルとして記憶している。
基準モデル更新部50は、物体領域検知部30による検知結果である物体領域の情報を更新するとともに、読出部20において生成した画像データをもとに基準モデル記憶部40に記憶されている基準モデルを更新する。
物体認識部60は、後述する物体モデル記憶部70に記憶されている物体辞書を用いて、読出部20から出力された画像データに所望の物体が映っているかどうかを認識する。物体モデル記憶部70は、物体認識部60において所望の物体を認識するために用いる物体辞書を記憶したメモリである。なお、物体辞書は、数多くの物体パターンから機械学習により予め求められたものである。また、以上説明した各ブロックは、制御部80により動作が制御される。
次に、本実施形態の動作について、図2のフローチャートを参照しながら説明する。図2は、本実施形態における物体検知の処理手順の一例を示すフローチャートである。
まず、ステップS101において、読出部20は、画像取得部10の撮像領域から画素毎に画素信号を読み出し、画像データを生成する。このとき、読出部20は読み出す画素信号を画素毎に制御することにより、任意の解像度及び任意の領域の画素データとして読み出すことができる。また、ここで読み出した画像データは、例えば8ビットの画素により構成される2次元配列の輝度データである。
なお、物体検知の初期の動作時においては、読出部20は画像取得部10の全撮像領域からn画素おきに画素信号を読み出すように制御される。ここで、nの値は、以下の式1により算出される。
n=SQRT(N÷M) ・・・(式1)
但し、nは読み出し解像度、Nは所定時間内(例えば、30分の1秒)で読み出し可能な画素数、Mは画像取得部10の撮像素子の全画素数、SQRT()は平方根演算で、nは式1の右辺の値以上の最小の整数である。
また、画像取得部10の撮像領域の一部から画像を読み出す場合には、以下の式2により読み出し解像度nを決める。
n=SQRT(N÷L) ・・・(式2)
但し、Lは画像取得部10における所定領域内の撮像素子の画素数である。
次に、ステップS102において、物体領域検知部30は、読出部20から出力された画像データと基準モデル記憶部40に記憶されている基準モデルとを比較し、画像データから物体の写っている領域を検知する。以下、ステップS102の処理の詳細について図3及び図4を参照しながら説明する。
図3は、本実施形態に係る画像取得部10において人物Aを撮影したときの画像の一例を示す図である。また、図4は、本実施形態に係る基準モデル記憶部40に記憶されている背景モデルのもとになった背景画像の一例を示す図であり、予め物体の写っていない状態で画像取得部10及び読出部20により得たものである。
なお、実際の背景モデルは、図4に示したような背景画像が所定ブロックに分割されて、ブロック毎に画像特徴量を記憶したものである。例えば、画像を8×8画素のブロックに分割し、ブロック内の画像データを用いてDCT(Discrete Cosine Transform)処理を行った出力値であるDCT係数の一部を特徴量とする。
物体領域検知部30は、図3に示した画像データについても同様の方法でブロック毎に画像特徴量を求め、背景モデルの対応するブロックの画像特徴量との距離Dを以下の式3により求める。
D=a・|X−Xb| ・・・(式3)
但し、X及びXbは夫々、各ブロックにおける画像特徴量により構成される特徴ベクトル、aは物体領域の判定を行うための所定の判別ベクトル、・はベクトルの内積演算、||は絶対値演算である。
そして、式3により求めた距離Dが所定の値以上であるブロックを1とし、それ以外のブロックを0とした2値画像を出力する。図5は、図3及び図4の画像から得られる結果を示す図である。図5において、黒部分が1であり、白部分が0である。すなわち、黒部分は物体の存在するブロックを表し、白部分は物体の存在しない背景のブロックを表す。
なお、物体検知の初期の動作時においては、第1の画像データとして読出部20によって得られる画像は、画像取得部10の撮像領域全域に対するn画素おきの画像であり、比較的、解像度の低い画像である。そして、物体領域検知部30は、基準モデルとの比較を行う際に、読出部20によって得られた画像と同一の解像度の背景画像を用いる。すなわち、この場合は、n画素おきの画像に対応する背景モデルを用いる。なお、基準モデル記憶部40には、予め物体の写っていない状態で画像取得部10及び読出部20により得られた複数の解像度の背景画像に対応する背景モデルが記憶されている。
また、基準モデル更新部50は、物体領域検知部30による検知の結果、物体が写っていないと判定されたブロックを用いて、基準モデル記憶部40に記憶されている背景モデルにおける画像特徴量の更新を行う。この更新は、例えば、読出部20において生成した画像データの画像特徴量と、既に基準モデル記憶部40に記憶されている読み出した画像と同一解像度の背景モデルの画像特徴量との加重平均により行う。
次に、ステップS103において、物体認識部60は、物体モデル記憶部70に記憶されている物体辞書を用いて読出部20から出力された画像データに所望の物体を認識したか否かを判断する。このとき、物体領域検知部30によって検知された物体領域に絞り込んで認識を行う。この判断の結果、所望の物体を認識した場合は、ステップS104に進む。一方、ステップS103の判断の結果、所望の物体を認識しなかった場合は、ステップS105に進む。
本実施形態では、認識する物体として人の顔の認識を想定する。物体認識の方法としては、例えば、非特許文献1や非特許文献2で提案されている方法を用いる。
例えば、非特許文献1では、ニューラル・ネットワークにより画像中の顔パターンを検出している。以下、その方法について簡単に説明する。まず、顔の検出を対象とする画像データをメモリから読み出し、顔と照合する所定の領域を、読み出した画像データの中から切り出す。そして、切り出した領域の画素値の分布を用いてニューラル・ネットワークによる演算を行い、1つの演算結果を得る。このとき、膨大な量の顔画像パターンと非顔画像パターンとによりニューラル・ネットワークの重み及び閾値があらかじめ学習されている。
例えば、ニューラル・ネットワークによる演算の結果が0以上なら顔であり、それ以外は非顔であると判別する。そして、顔と照合する画像パターンの切り出し位置を、例えば、画像全域から縦横順次に走査していくことにより、画像の中から顔を検出する。また、様々な大きさの顔の検出に対応するため、図6に示すように画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。
また、処理の高速化に着目した例としては、非特許文献2に記載されている方法がある。この非特許文献2に記載されている方法では、AdaBoostを用いて多くの弱判別器を有効に組合せて顔判別の精度を向上させている。また、夫々の弱判別器をHaarタイプの矩形特徴量で構成し、さらに矩形特徴量の算出においては、積分画像を利用して高速に行っている。また、AdaBoostの学習によって得られた判別器を直列に繋ぎ、カスケード型の顔検出器を構成するようにしている。
このカスケード型の顔検出器は、まず、前段では、単純で計算量の少ない判別器を用いて明らかに顔でないパターンの候補をその場で除去する。そして、後段では、それ以外の候補に対してのみ、より高い識別性能を持つ複雑で計算量の多い判別器を用いて顔かどうかの判定を行っている。このように、すべての候補に対して複雑な判定を行う必要がないので高速に処理を行うことができる。
以上の説明において、物体領域検知部30において検知された物体領域に絞り込んで認識を行う様子を図7に示す。このように、照合する画像領域の切り出しを図7の領域Sで行う。なお、非特許文献1及び非特許文献2には、画像から顔を検出する技術について記載されているが、画像からその他の物体を検出する場合についても同様に実現可能である。
ステップS103の判断の結果、所望の物体を認識した場合には、次のステップS104において、物体認識部60において物体領域の位置座標を検出し、その結果を出力する。このとき、制御部80は、物体を検出した結果を不図示の記憶装置に記憶したり、不図示の表示装置に表示させたりし、処理を終了する。
一方、ステップS103の判断の結果、所望の物体を認識しなかった場合は、次のステップS105において、読出部20は決定手段として機能し、次フレームで行う検知処理の読み出し領域及び解像度を物体領域検知部30の検知結果から決定する。まず、物体領域検知部30から出力される2値画像から、例えば、図5に示すように、黒部分を囲む矩形領域Rを決定する。そして、矩形領域内の画素数を求め、求めた画素数をLとして前述の式2により読み出し解像度nを求める。そして、ステップS101に戻り、ステップS101からステップS105の処理を繰り返す。
例えば、図5に示すような検知結果の場合には、ステップS101では、矩形領域Rでの処理に限定されるので、第2の画像データとして処理する解像度は、初期の全画像に対応する解像度より高くなる。そして、所望の物体を認識しなかった場合には、さらにステップS101からステップS105の処理を繰り返すことになり、少しずつ解像度を上げて処理を行うことができる。したがって、人物や物体の侵入を詳細に検知することが可能になる。
なお、ステップS102の処理において物体領域として検知した領域がない場合には、初期動作を継続し、読出部20は画像取得部10の全撮像領域から画素信号を読み出すように制御される。また、ステップS103で所望の物体を認識し、ステップS104で認識結果を出力した場合においても、再度ステップS101からステップS105の処理を繰り返し、物体を検知するようにしてもよい。
以上説明したように、本実施形態では、検知した物体領域に基づいて画像を読み出す領域及び解像度を決定する。そして、処理を繰り返すようにし、領域を絞り込みながら、解像度を上げ、検知した物体領域に絞り込んで所望の物体を認識するようにした。これにより、高画素のイメージセンサを備えた監視カメラを用いても人物や物体の侵入検知を、実用的な時間内に行うことができる。
(第2の実施形態)
本発明の第2の実施形態の概略構成及び処理手順について図8及び図9を参照しながら説明する。本実施形態では、まず、撮像領域全域を低解像度で読み出して物体領域を検知し、検知結果から領域を絞り込む。そして、詳細に物体の認識ができる程度に十分な解像度の画像を読み出した段階で物体認識処理を行う構成とした。
図8は、本実施形態に係る物体検知装置800の機能構成例を示すブロック図である。なお、図8において、図1と同じ構成のものは同一の番号を付している。したがって、各構成の説明については第1の実施形態と同様であるため、説明は省略する。
次に、図9を参照しながら本実施形態の動作について説明する。図9は、本実施形態における物体検知の処理手順の一例を示すフローチャートである。本実施形態では、ステップS201の処理内容を決定するステップを有する点で第1の実施形態とは動作が異なる。
まず、ステップS101において、読出部20は、画像取得部10の撮像領域から画素毎に画素信号を読み出し、画像データを生成する。次に、ステップS201において、制御部80は、読出部20により設定された読み出し解像度に基づいて処理内容の決定を行う。そこで、処理内容を決定するために、読出部20が読み出した画像の解像度を判断する。
この判断の結果、読出部20が所定の解像度より高い解像度の画像を読み出した場合は、物体検知を詳細に行うことができるので物体認識処理を行うステップS103に進む。一方、ステップS201の判断の結果、読出部20が所定の解像度より低い解像度の画像を読み出した場合は、検知領域を絞り込む必要があるので物体領域検知処理を行うステップS102に進む。なお、初期動作では、全撮像領域から低解像で画素信号を読み出すため、まず、物体領域検知処理を行うステップS102に進む。
次に、ステップS102において、物体領域検知部30は、読出部20において生成された画像データと基準モデル記憶部40に記憶されている基準モデルとを比較し、画像データから物体の写っている領域を検知する。そして、ステップS105において、読出部20は決定手段として機能し、次フレームで行う検知処理の読み出し領域及び解像度を物体領域検知部30の検知結果から決定する。
そして、再びステップS101に戻り、処理を繰り返す。このとき、物体領域検知部30において検知した物体領域に絞り込むことによって少しずつ解像度を上げて処理を行うことになる。その結果、ステップS101で読出部20が所定の解像度より高い解像度の画像を読み出した場合には、物体認識処理を行うようステップS201からステップS103に処理が移行する。
次に、ステップS103において、物体認識部60は、物体モデル記憶部70に記憶されている物体辞書を用いて読出部20において生成された画像データに所望の物体を認識したか否かを判断する。このとき、物体認識部60は、ステップS101で読出部20が読み出した領域及び解像度で認識処理を行うことになる。
この判断の結果、所望の物体を認識した場合は、ステップS104に進む。そして、ステップS104において、物体認識部60において物体領域の位置座標を検出し、その結果を出力する。このとき、制御部80は、物体を検出した結果を不図示の記憶装置に記憶したり、不図示の表示装置に表示させたりし、処理を終了する。一方、ステップS103の判断の結果、所望の物体を認識しなかった場合は、ステップS105に進む。このとき、読み出し領域及び解像度の設定は、撮像領域全域とする初期動作と同様の設定となるようにする。
以上説明したように、本実施形態では、物体領域の検知結果により検知領域を少しずつ絞り込み、所定の解像度で画像を読み出せるようになった状態で物体認識処理を行うようにしている。したがって、高画素のイメージセンサを備えた監視カメラを用いても人物や物体の侵入検知を、実用的な時間内に行うことができる。
以上の実施形態において、フレームごとに物体領域の検知を繰り返し行っている間に物体が移動し、物体認識処理を行うフレームでは、物体が検知領域外に出ている場合が考えられる。そのような場合に対応するためには、複数の連続した時刻での物体領域検知部30の検知結果から物体認識を行う領域を予測して、予測した物体領域に対して物体認識処理を行うようにすればよい。例えば、過去フレームで検知した物体領域の重心位置及び範囲からカルマンフィルタを用いて次フレームの物体領域の重心位置及び範囲を予測するようにすればよい。
(本発明に係る他の実施形態)
以上説明した実施形態では、高画素のイメージセンサを備えた監視カメラを用いて広域にかつ詳細に人物や物体の侵入を自動的に検知する場合について説明したが、本発明の適用範囲はこれに限定したものではない。
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ読み取り可能な記録媒体(または記憶媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでない。そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明した処理フローに対応するプログラムコードが格納されることになる。
本発明の第1の実施形態に係る物体検知装置の機能構成例を示すブロック図である。 本発明の第1の実施形態における物体検知の処理手順の一例を示すフローチャートである。 本発明の第1の実施形態に係る画像取得部において人物を撮影したときの画像の一例を示す図である。 本発明の第1の実施形態に係る基準モデル記憶部に記憶されている背景モデルのもとになった背景画像の一例を示す図である。 図3及び図4の画像から得られる結果を示す図である。 画像から顔パターンの探索を行う方法を説明する図である。 画像から顔パターンの探索を物体領域の検知結果によって絞り込んで行う方法を説明する図である。 本発明の第2の実施形態に係る物体検知装置の機能構成例を示すブロック図である。 本発明の第2の実施形態における物体検知の処理手順の一例を示すフローチャートである。
10 画像取得部
20 読出部
30 物体領域検知部
40 基準モデル記憶部
50 基準モデル更新部
60 物体認識部
70 物体モデル記憶部
80 制御部
100 物体検知装置

Claims (7)

  1. 所定の画像領域の画像データを所定の解像度で画像取得手段から読み出す読出手段と、
    前記読出手段によって読み出された第1の画像データから物体領域を検知する物体領域検知手段と、
    前記物体領域検知手段によって検知された物体領域から所定の物体を認識する物体認識手段と、
    前記物体領域検知手段によって検知された物体領域に基づいて前記第1の画像データよりも後の時刻に撮影された第2の画像データを読み出す際の画像領域決定する領域決定手段と
    前記読出手段が所定時間に読み出し可能な画素数と前記領域決定手段により決定された画像領域の画素数とに基づいて、前記第2の画像データを読み出す際の解像度を決定する解像度決定手段とを有し、
    前記読出手段は、前記決定手段によって決定された画像領域及び解像度で前記第2の画像データを前記画像取得手段から読み出すことを特徴とする物体検知装置。
  2. 前記読出手段によって読み出された画像データと比較するための基準モデルを記憶する基準モデル記憶手段をさらに有し、
    前記物体領域検知手段は、前記基準モデル記憶手段に記憶された基準モデルと比較することにより、前記読出手段によって読み出された画像データの物体領域を検知することを特徴とする請求項に記載の物体検知装置。
  3. 前記基準モデルは、前記読出手段によって読み出された画像データの中の背景のみの画像データをもとに構成される背景モデルであることを特徴とする請求項に記載の物体検知装置。
  4. 前記画像取得手段は、光電変換を行って画素信号を生成する撮像素子を備えることを特徴とする請求項1〜の何れか1項に記載の物体検知装置。
  5. 所定の画像領域の画像データを所定の解像度で画像取得手段から読み出す読出工程と、
    前記読出工程において読み出された第1の画像データから物体領域を検知する物体領域検知工程と、
    前記物体領域検知工程において検知された物体領域から所定の物体を認識する物体認識工程と、
    前記物体領域検知工程によって検知された物体領域に基づいて前記第1の画像データよりも後の時刻に撮影された第2の画像データを読み出す際の画像領域決定する領域決定工程と
    前記読出工程で所定時間に読み出し可能な画素数と前記領域決定工程で決定された画像領域の画素数とに基づいて、前記第2の画像データを読み出す際の解像度を決定する解像度決定工程とを有し、
    前記読出工程においては、前記決定工程において決定された画像領域及び解像度で前記第2の画像データを前記画像取得手段から読み出すことを特徴とする物体検知方法。
  6. 所定の画像領域の画像データを所定の解像度で画像取得手段から読み出す読出工程と、
    前記読出工程において読み出された第1の画像データから物体領域を検知する物体領域検知工程と、
    前記物体領域検知工程において検知された物体領域から所定の物体を認識する物体認識工程と、
    前記物体領域検知工程によって検知された物体領域に基づいて前記第1の画像データよりも後の時刻に撮影された第2の画像データを読み出す際の画像領域決定する領域決定工程と
    前記読出工程で所定時間に読み出し可能な画素数と前記領域決定工程で決定された画像領域の画素数とに基づいて、前記第2の画像データを読み出す際の解像度を決定する解像度決定工程とをコンピュータに実行させ、
    前記読出工程においては、前記決定工程において決定された画像領域及び解像度で前記第2の画像データを前記画像取得手段から読み出すことを特徴とするプログラム。
  7. 請求項に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
JP2009003664A 2009-01-09 2009-01-09 物体検知装置及び物体検知方法 Expired - Fee Related JP5279517B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009003664A JP5279517B2 (ja) 2009-01-09 2009-01-09 物体検知装置及び物体検知方法
US12/684,030 US8923552B2 (en) 2009-01-09 2010-01-07 Object detection apparatus and object detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009003664A JP5279517B2 (ja) 2009-01-09 2009-01-09 物体検知装置及び物体検知方法

Publications (2)

Publication Number Publication Date
JP2010160743A JP2010160743A (ja) 2010-07-22
JP5279517B2 true JP5279517B2 (ja) 2013-09-04

Family

ID=42319125

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009003664A Expired - Fee Related JP5279517B2 (ja) 2009-01-09 2009-01-09 物体検知装置及び物体検知方法

Country Status (2)

Country Link
US (1) US8923552B2 (ja)
JP (1) JP5279517B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013052025A1 (en) * 2011-10-03 2013-04-11 Hewlett-Packard Development Company, L.P. Region selection for counterfeit determinations
US20140009588A1 (en) * 2012-07-03 2014-01-09 Kabushiki Kaisha Toshiba Video display apparatus and video display method
AU2012216341A1 (en) * 2012-08-21 2014-03-13 Canon Kabushiki Kaisha Method, apparatus and system for segmenting an image in an image sequence
JP2014116716A (ja) 2012-12-07 2014-06-26 Samsung Display Co Ltd 追尾装置
EP3376468B1 (en) * 2015-12-02 2020-01-29 Mitsubishi Electric Corporation Object detection device and object detection method
JP6635221B1 (ja) * 2018-08-31 2020-01-22 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US10740637B2 (en) * 2018-09-18 2020-08-11 Yoti Holding Limited Anti-spoofing
JP7248037B2 (ja) * 2018-11-13 2023-03-29 ソニーグループ株式会社 画像処理装置、画像処理方法、およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05284501A (ja) 1992-04-06 1993-10-29 Mitsubishi Electric Corp 侵入監視画像装置
JPH0793558A (ja) * 1993-09-22 1995-04-07 Toshiba Corp 画像監視装置
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
US6819783B2 (en) * 1996-09-04 2004-11-16 Centerframe, Llc Obtaining person-specific images in a public venue
US6400830B1 (en) * 1998-02-06 2002-06-04 Compaq Computer Corporation Technique for tracking objects through a series of images
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
US7035430B2 (en) * 2000-10-31 2006-04-25 Hitachi Kokusai Electric Inc. Intruding object detection method and intruding object monitor apparatus which automatically set a threshold for object detection
US7409092B2 (en) * 2002-06-20 2008-08-05 Hrl Laboratories, Llc Method and apparatus for the surveillance of objects in images
JP3702260B2 (ja) * 2002-09-19 2005-10-05 株式会社東芝 目標角速度計測装置および目標角速度計測方法
US7620218B2 (en) * 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
JP2006033793A (ja) * 2004-06-14 2006-02-02 Victor Co Of Japan Ltd 追尾映像再生装置
US7372975B2 (en) * 2004-12-06 2008-05-13 Mitsubishi Electric Research Laboratory, Inc. Method for secure background modeling in images
US8111873B2 (en) * 2005-03-18 2012-02-07 Cognimatics Ab Method for tracking objects in a scene
JP4830650B2 (ja) * 2005-07-05 2011-12-07 オムロン株式会社 追跡装置
JP4800073B2 (ja) * 2006-03-09 2011-10-26 富士フイルム株式会社 監視システム、監視方法、及び監視プログラム
US8224029B2 (en) * 2008-03-03 2012-07-17 Videoiq, Inc. Object matching for tracking, indexing, and search

Also Published As

Publication number Publication date
US8923552B2 (en) 2014-12-30
US20100177932A1 (en) 2010-07-15
JP2010160743A (ja) 2010-07-22

Similar Documents

Publication Publication Date Title
JP5279517B2 (ja) 物体検知装置及び物体検知方法
JP7130368B2 (ja) 情報処理装置および情報処理システム
CN100504910C (zh) 人的检测方法和设备
JP4479478B2 (ja) パターン認識方法および装置
CN110348270B (zh) 影像物件辨识方法与影像物件辨识系统
US7957560B2 (en) Unusual action detector and abnormal action detecting method
JP6007682B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20110074970A1 (en) Image processing apparatus and image processing method
JP6036824B2 (ja) 画角変動検知装置、画角変動検知方法および画角変動検知プログラム
JP5274216B2 (ja) 監視システム及び監視方法
US20040141633A1 (en) Intruding object detection device using background difference method
JP2010263581A (ja) 物体認識装置及び物体認識方法
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
JP2008192131A (ja) 特徴レベル・セグメンテーションを実行するシステムおよび方法
JP4764172B2 (ja) 画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラム
CN113508420A (zh) 物体追踪装置以及物体追踪方法
JP2008102611A (ja) 画像処理装置
Dinh et al. High resolution face sequences from a PTZ network camera
JP7255173B2 (ja) 人検出装置および人検出方法
KR20040018586A (ko) 얼굴특징을 이용한 움직임 검출장치 및 이를 적용한감시시스템
Chen et al. Head-shoulder detection using joint HOG features for people counting and video surveillance in library
JP6296769B2 (ja) 物体検出装置
US10140503B2 (en) Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus
KR102450466B1 (ko) 영상 내의 카메라 움직임 제거 시스템 및 방법
Lee et al. An intelligent video security system using object tracking and shape recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130521

R151 Written notification of patent or utility model registration

Ref document number: 5279517

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees