JP6323179B2 - 物体検出システムおよび物体検出方法 - Google Patents

Description

本発明は、物体検出システムおよび物体検出方法に関し、動画を解析して特定の物体を検出する技術に関する。

動画を解析して特定の物体を検出する技術は、様々な分野で利用されている。たとえば、工業製品の製造ライン等では、コンベア上を監視カメラで撮影し、流れてくる個々の製品を検出するシステムが導入されている。また、屋内や屋外の状況を監視カメラで撮影し、人物の存在を検出するシステムも広く利用されている。このようなシステムに利用するため、動画を構成する個々のフレーム画像から、固有の特徴をもった特定の物体を正確に認識するための技術が提案されている。

たとえば、下記の特許文献１には、画像中から特定の物体を検出するために、検出対象となる物体の形状特徴を基準として、画像中の候補領域が当該対象物体の領域である確信度を算出する手法が開示されている。また、特許文献２には、予め、検出対象物体についての特徴辞書と、検出対象物体と疑似物体とを識別するための判別特徴辞書とを用意しておき、画像中から特徴辞書に定義されている特徴を参照しながら物体候補を検出し、その後、判別特徴辞書を用いて、検出対象物体のみを正確に検出する物体検出装置が開示されている。

また、特許文献３には、単位領域中における特定色の有無を判定することにより、当該特定色を有する物体を検出する物体検出方法が開示されている。更に、特許文献４には、入力画像に対して変倍処理を行い、倍率を変えた複数通りの画像上で判定領域を走査しながら、各判定領域内について顔の検出を行う技術が開示されている。

特開平６−１７６１５０号公報 特開平１０−２２２６７８号公報 特開２００１−３４６２２４号公報 特開２００７−２５７３５８号公報

上述したとおり、動画を解析して特定の物体を検出する物体検出システムとしては、従来から様々なアルゴリズムを利用したシステムが提案され、その一部は実用化されている。これらのシステムが採用しているアルゴリズムの基本原理は、動画を構成する個々のフレーム画像上を、いわばサーチライトのスポットで照らすようにして走査し、検出対象物体の特徴に合致する領域を見つける処理を繰り返す、というものである。

ここで、特定の領域が検出対象物体の特徴に合致するか否かの判定処理には、通常、テンプレートマッチングの手法が利用される。すなわち、検出対象物体の固有の特徴を示すデータを予めテンプレートとして用意しておき、個々のフレーム画像上で部分的な領域を走査しながら、当該テンプレートに合致する領域を探し出す、という手法が採用されている。ここで、テンプレートに合致するか否かの判定処理には、様々なアルゴリズムが利用されているが、いずれも画像の特徴についての合致判定処理であるため、演算負担は大きく、演算処理に時間を要することになる。

特に、パソコン等を利用して構築される汎用の物体検出システムの場合、ＣＰＵの演算処理能力に限界があり、高速な演算処理を行うことはできない。そのため、リアルタイム処理が必要とされる監視システムなどでは、十分な物体検出処理を行うことができないという問題が生じる。たとえば、２４時間体制で監視を行いながら、人物を検出したときに警報を鳴らすようなシステムの場合、リアルタイム処理を行わざるを得ない。ところが、たとえば３０フレーム／秒のレートで連続的に与えられるフレーム画像についてリアルタイム処理を行うことにすると、１フレームあたりの処理時間は１／３０秒に限られてしまい、演算処理能力の低いＣＰＵを利用したシステムでは、十分な対応を行うことができない。

このように、処理能力上の問題から演算処理時間を短縮する必要がある場合、従来は、「空間的な間引き」を行うか、「時間的な間引き」を行うことにより対応を行っている。ここで、「空間的な間引き」とは、フレーム画像上での探索領域の走査を粗くすることを意味し、１枚のフレーム画像に対する空間的な検出精度を低下させる要因になる。一方、「時間的な間引き」とは、動画を構成する連続したフレーム画像のすべてを処理対象とせず、数枚おきに抽出したフレーム画像についてのみ探索を行うことを意味し、動画全体に対する時間的な検出精度を低下させる要因になる。いずれも、動画を解析して特定の物体を検出するという目的を達成する上では、物体の検出精度が低下することは否めない。

そこで本発明は、空間的な検出精度および時間的な検出精度の双方を維持しつつ、演算処理時間を短縮することが可能な物体検出システムおよび物体検出方法を提供することを目的とする。

(1) 本発明の第１の態様は、動画を解析して特定の物体を検出する物体検出システムにおいて、
解析対象となる動画を時系列で与えられる複数のフレーム画像として入力するフレーム画像入力部と、
入力されたフレーム画像を格納するフレーム画像格納部と、
フレーム画像格納部に格納されているフレーム画像を、それぞれ抽出画像として順次抽出するフレーム画像抽出部と、
配置平面上の所定位置に複数の窓枠図形を配置した窓枠プレーンを、個々の抽出画像に対応づけて設定する窓枠プレーン設定部と、
検出対象となる物体の画像を含むサンプル画像を入力するサンプル画像入力部と、
入力されたサンプル画像を格納するサンプル画像格納部と、
フレーム画像抽出部によって抽出された抽出画像上に、窓枠プレーン設定部によって設定された対応する窓枠プレーンを、所定の位置基準に基づいて重ね合わせ、抽出画像から個々の窓枠図形の内部の窓内画像を切り出す窓内画像切出部と、
窓内画像切出部によって切り出された窓内画像とサンプル画像格納部に格納されているサンプル画像との類否判定を行い、両者が類似していると判定された場合に、当該窓内画像の切り出し対象となったフレーム画像上の、当該窓内画像の位置に、検出対象となる物体が存在する旨の検出結果を出力する物体検出部と、
を設け、
窓枠プレーン設定部が、配置平面上で窓枠図形を移動させるシフト処理を行うことにより新たな窓枠プレーンを生成し、抽出画像によって窓枠図形の位置が異なる窓枠プレーンを設定するようにしたものである。

(2) 本発明の第２の態様は、上述した第１の態様に係る物体検出システムにおいて、
窓枠プレーン設定部が、サンプル画像格納部に格納されているサンプル画像と同一形状同一サイズの窓枠図形を配置した窓枠プレーンを設定するようにしたものである。

(3) 本発明の第３の態様は、上述した第２の態様に係る物体検出システムにおいて、
物体検出部が、窓内画像とサンプル画像とについて、互いに対応位置にある画素の画素値を比較する処理を行い、画素値の差が所定の基準以下である場合に両者が類似している旨の判定を行うようにしたものである。

(4) 本発明の第４の態様は、上述した第２の態様に係る物体検出システムにおいて、
物体検出部が、窓内画像およびサンプル画像を、それぞれ共通する分割態様で複数の部分領域に分割する処理を行い、個々の部分領域ごとにそれぞれ構成画素の平均画素値を求め、互いに対応位置にある部分領域についての平均画素値を比較する処理を行い、平均画素値の差が所定の基準以下である部分領域の割合が所定の基準以上である場合に両者が類似している旨の判定を行うようにしたものである。

(5) 本発明の第５の態様は、上述した第１〜第４の態様に係る物体検出システムにおいて、
窓枠プレーン設定部が、配置平面上に分散配置された複数のグリッド点を定義し、個々のグリッド点を基準とした所定位置に、それぞれ所定形状をもった所定サイズの図形を配置することにより窓枠図形の配置を行い、グリッド点を移動させることによりシフト処理を行うようにしたものである。

(6) 本発明の第６の態様は、上述した第５の態様に係る物体検出システムにおいて、
窓枠プレーン設定部が、二次元格子の格子点として個々のグリッド点を定義し、移動対象となる各グリッド点を同一シフト方向に同一シフト距離だけ移動させることによりシフト処理を行うようにしたものである。

(7) 本発明の第７の態様は、上述した第６の態様に係る物体検出システムにおいて、
窓枠プレーン設定部が、二次元ＸＹ座標系のＸ軸およびＹ軸に沿って配置されたグリッド点を定義し、Ｘ軸方向への単位移動距離としてサンプル画像のＸ軸方向画素ピッチｈｘを設定し、Ｙ軸方向への単位移動距離としてサンプル画像のＹ軸方向画素ピッチｈｙを設定し、各グリッド点のＸ軸方向のシフト距離を画素ピッチｈｘの整数倍に設定し、各グリッド点のＹ軸方向のシフト距離を画素ピッチｈｙの整数倍に設定するようにしたものである。

(8) 本発明の第８の態様は、上述した第７の態様に係る物体検出システムにおいて、
窓枠プレーン設定部が、グリッド点のＸ軸方向ピッチを画素ピッチｈｘの整数Ｇｘ倍に設定し、グリッド点のＹ軸方向ピッチを画素ピッチｈｙの整数Ｇｙ倍に設定し、Ｘ軸方向に関するシフト範囲を画素ピッチｈｘの（Ｇｘ−１）倍、Ｙ軸方向に関するシフト範囲を画素ピッチｈｙの（Ｇｙ−１）倍に設定して、各グリッド点を各シフト範囲内でシフトさせることによりシフト処理を行うようにしたものである。

(9) 本発明の第９の態様は、上述した第８の態様に係る物体検出システムにおいて、
窓枠プレーン設定部が、グリッド点をＸ軸方向に画素ピッチｈｘだけ移動させるＸ軸シフト動作と、グリッド点をＹ軸方向に画素ピッチｈｙだけ移動させるＹ軸シフト動作と、を行う機能を有し、更に、グリッド点を、Ｘ軸方向に関する基準位置からのＸ軸方向に関するシフト距離が画素ピッチｈｘの（Ｇｘ−１）倍に達するまでＸ軸シフト動作を繰り返し実行する水平方向の走査処理と、この水平方向の走査処理完了後に、グリッド点のＸ軸方向に関する位置をＸ軸方向に関する基準位置に戻し、Ｙ軸シフト動作を行った上で再び水平方向の走査処理を行う処理を、Ｙ軸方向に関する基準位置からのＹ軸方向に関するシフト距離が画素ピッチｈｙの（Ｇｙ−１）倍に達するまで繰り返し実行する垂直方向の走査処理と、を行う機能を有し、水平方向の走査処理および垂直方向の走査処理を繰り返し実行しながら、フレーム画像抽出部が新たな抽出画像を抽出するたびに、当該抽出画像に対応する新たな窓枠プレーンを設定する処理を行うようにしたものである。

(10) 本発明の第１０の態様は、上述した第１〜第９の態様に係る物体検出システムにおいて、
フレーム画像抽出部が、フレーム画像格納部に格納されている連続したフレーム画像を時系列の順に従って、１枚ずつ連続的に、もしくは、所定のフレーム間隔をおいて周期的に抽出するようにしたものである。

(11) 本発明の第１１の態様は、上述した第１〜第１０の態様に係る物体検出システムにおいて、
窓枠プレーン設定部が、窓枠プレーンとともに固定プレーンを設定する機能を有し、物体検出部により、窓枠プレーン上の特定の窓枠図形の内部から切り出された窓内画像について類似しているとの判定がなされた場合には、当該特定の窓枠図形を窓枠プレーンから固定プレーンの対応位置に移動させる処理を行い、物体検出部により、固定プレーン上の特定の窓枠図形の内部から切り出された窓内画像について類似していないとの判定がなされた場合には、当該特定の窓枠図形を固定プレーンから窓枠プレーンの帰還位置に戻す処理を行い、窓枠プレーン上の窓枠図形についてはシフト処理を行うが、固定プレーン上の窓枠図形についてはシフト処理を行わないようにし、帰還位置を、固定プレーンへの移動が行われなかった場合に本来あるべき位置とし、
窓内画像切出部が、窓枠プレーンと固定プレーンとの双方を抽出画像上に重ね合わせ、窓枠プレーン上の窓枠図形および固定プレーン上の窓枠図形の内部の窓内画像を切り出すようにしたものである。

(12) 本発明の第１２の態様は、上述した第１〜第１０の態様に係る物体検出システムにおいて、
サンプル画像入力部が、入力したサンプル画像を拡大もしくは縮小する変倍処理を行うことにより、互いにサイズが異なる複数ｍ通りの変倍サンプル画像を用意し、
サンプル画像格納部が、複数ｍ通りの変倍サンプル画像を格納し、
窓枠プレーン設定部が、窓枠図形を移動させるシフト処理を行う機能とともに、窓枠図形のサイズを拡大もしくは縮小する変倍処理を行う機能を有し、この変倍処理により、窓枠プレーン上の窓枠図形のサイズを複数ｍ通りの変倍サンプル画像のサイズに等しいｍ段階のサイズに変化させ、
窓内画像切出部が、それぞれ個々のサイズをもった窓枠図形の内部から、当該サイズをもった窓内画像を切り出し、
物体検出部が、切り出された窓内画像と同じサイズの変倍サンプル画像を用いた類否判定を行うようにしたものである。

(13) 本発明の第１３の態様は、上述した第１２の態様に係る物体検出システムにおいて、
窓枠プレーン設定部が、窓枠プレーン上の窓枠図形に対して、シフト処理と変倍処理との双方を行うことにより窓枠図形の位置およびサイズの双方が異なる新たな窓枠プレーンを生成し、個々の抽出画像に応じて窓枠図形の位置およびサイズの双方が異なる窓枠プレーンを設定するようにしたものである。

(14) 本発明の第１４の態様は、上述した第１３の態様に係る物体検出システムにおいて、
窓枠プレーン設定部が、窓枠プレーンとともに固定プレーンを設定する機能を有し、物体検出部により、窓枠プレーン上の特定の窓枠図形の内部から切り出された窓内画像について類似しているとの判定がなされた場合には、当該特定の窓枠図形を窓枠プレーンから固定プレーンの対応位置に移動させる処理を行い、物体検出部により、固定プレーン上の特定の窓枠図形の内部から切り出された窓内画像について類似していないとの判定がなされた場合には、当該特定の窓枠図形を固定プレーンから窓枠プレーンの帰還位置に戻す処理を行い、窓枠プレーン上の窓枠図形についてはシフト処理および変倍処理を行うが、固定プレーン上の窓枠図形についてはシフト処理も変倍処理も行わないようにし、帰還位置を、固定プレーンへの移動が行われなかった場合に本来あるべき位置とし、帰還位置に戻される窓枠図形に対しては、固定プレーンへの移動が行われなかった場合に本来あるべきサイズとなるようなサイズ修正を行い、
窓内画像切出部が、窓枠プレーンと固定プレーンとの双方を抽出画像上に重ね合わせ、窓枠プレーン上の窓枠図形および固定プレーン上の窓枠図形の内部の窓内画像を切り出すようにしたものである。

(15) 本発明の第１５の態様は、上述した第１〜第１４の態様に係る物体検出システムを、コンピュータにプログラムを組み込むことにより構成したものである。

(16) 本発明の第１６の態様は、上述した第１〜第１４の態様に係る物体検出システムに、動画撮影を行う監視カメラを加えることにより監視システムを構成し、
監視カメラが撮影した動画を構成する個々のフレーム画像をリアルタイムで物体検出システムに与え、
物体検出システムが、与えられたフレーム画像に基づく物体検出の処理をリアルタイムで実行し、
監視カメラの撮影視野内の物体をリアルタイムで検出できるようにしたものである。

(17) 本発明の第１７の態様は、動画を解析して特定の物体を検出する物体検出方法において、
コンピュータが、検出対象となる物体の画像を含むサンプル画像を準備するサンプル画像準備段階と、
コンピュータが、解析対象となる動画を構成する１枚のフレーム画像を入力するフレーム画像入力段階と、
コンピュータが、所定の配置平面上に複数のグリッド点を定義するグリッド点定義段階と、
コンピュータが、配置平面上のグリッド点を基準とした個々の位置に、それぞれ所定形状をもった所定サイズの窓枠図形を配置する窓枠図形配置段階と、
コンピュータが、フレーム画像上に配置平面を重ね合わせ、フレーム画像から個々の窓枠図形の内部の窓内画像をそれぞれ切り出す窓内画像切出段階と、
コンピュータが、窓内画像とサンプル画像との類否判定を行い、両者が類似していると判定された場合に、フレーム画像の当該窓内画像の位置に、検出対象となる物体が存在する旨の検出結果を出力する物体判定段階と、
を行い、
フレーム画像入力段階から物体判定段階に至るまでの一巡処理を、解析対象となる動画を構成する個々のフレーム画像のそれぞれについて繰り返し実行し、
グリッド点定義段階で、過去の一巡処理で定義したグリッド点の全部もしくは一部を配置平面上で移動させるシフト処理を行うことにより、新たなグリッド点を定義する処理を行い、
窓枠図形配置段階で、新たに定義されたグリッド点に基づいて、新たな位置に窓枠図形の配置を行い、一巡処理を繰り返す際に、窓枠図形の配置が変化するようにしたものである。

(18) 本発明の第１８の態様は、上述した第１７の態様に係る物体検出方法において、
第１回目の一巡処理におけるグリッド点定義段階で、二次元格子の格子点として個々のグリッド点を定義し、
第２回目以降の一巡処理におけるグリッド点定義段階で、移動対象となる各グリッド点を同一シフト方向に同一シフト距離だけ移動させることによりシフト処理を行うようにしたものである。

(19) 本発明の第１９の態様は、上述した第１８の態様に係る物体検出方法において、
窓枠図形配置段階で、サンプル画像と同一形状同一サイズの窓枠図形を配置するようにしたものである。

(20) 本発明の第２０の態様は、上述した第１９の態様に係る物体検出方法において、
第ｋ回目（但し、ｋは自然数）の一巡処理における物体判定段階で、特定の窓枠図形の内部から切り出された窓内画像について類似しているとの判定がなされた場合には、第（ｋ＋１）回目の一巡処理におけるグリッド点定義段階では、当該特定の窓枠図形の配置基準となったグリッド点を固定状態にして、もしくは、当該グリッド点が既に固定状態にある場合には引き続き固定状態を維持して、固定状態のグリッド点については移動を行わないようにし、
第ｋ回目の一巡処理における物体判定段階で、固定状態にあるグリッド点を基準として配置された窓枠図形の内部から切り出された窓内画像について類似していないとの判定がなされた場合には、第（ｋ＋１）回目の一巡処理におけるグリッド点定義段階では、当該固定状態にあるグリッド点の固定状態を解除して、当該グリッド点がもともと固定状態になかった場合に本来あるべき位置まで移動させるようにしたものである。

(21) 本発明の第２１の態様は、上述した第１９の態様に係る物体検出方法において、
サンプル画像準備段階で、基本となるサンプル画像を拡大もしくは縮小する変倍処理を行うことにより、互いにサイズが異なる複数ｍ通りの変倍サンプル画像を準備し、
窓枠図形配置段階で、窓枠図形のサイズを複数ｍ通りの変倍サンプル画像のサイズに等しいｍ段階のサイズに変化させ、一巡処理を繰り返す際に、窓枠図形の配置とともにサイズが変化するようにし、
物体判定段階で、窓内画像と同じサイズの変倍サンプル画像を用いた類否判定を行うようにしたものである。

(22) 本発明の第２２の態様は、上述した第１９の態様に係る物体検出方法において、
サンプル画像準備段階で、基本となるサンプル画像を拡大もしくは縮小する変倍処理を行うことにより、互いにサイズが異なる複数ｍ通りの変倍サンプル画像を準備し、
第ｋ回目（但し、ｋは自然数）の一巡処理における物体判定段階で、特定の窓枠図形の内部から切り出された窓内画像について類似しているとの判定がなされた場合には、第（ｋ＋１）回目の一巡処理におけるグリッド点定義段階では、当該特定の窓枠図形の配置基準となったグリッド点を固定状態にして、もしくは、当該グリッド点が既に固定状態にある場合には引き続き固定状態を維持して、固定状態のグリッド点については移動を行わないようにし、
第ｋ回目の一巡処理における物体判定段階で、固定状態にあるグリッド点を基準として配置された窓枠図形の内部から切り出された窓内画像について類似していないとの判定がなされた場合には、第（ｋ＋１）回目の一巡処理におけるグリッド点定義段階では、当該固定状態にあるグリッド点の固定状態を解除して、当該グリッド点がもともと固定状態になかった場合に本来あるべき位置まで移動させ、
窓枠図形配置段階で、固定状態にあるグリッド点を基準として配置する窓枠図形については、当該グリッド点の固定直前における窓枠図形のサイズを固定サイズとし、固定状態にないグリッド点を基準として配置する窓枠図形については、そのサイズを複数ｍ通りの変倍サンプル画像のサイズに等しいｍ段階のサイズに変化させ、一巡処理を繰り返す際に、窓枠図形の配置とともにサイズが変化するようにし、
物体判定段階で、窓内画像と同じサイズの変倍サンプル画像を用いた類否判定を行うようにしたものである。

(23) 本発明の第２３の態様は、上述した第１７〜第２２の態様に係る物体検出方法を、コンピュータにプログラムを組み込んで実行させるようにしたものである。

本発明に係る物体検出システムおよび物体検出方法によれば、複数の窓枠図形を配置した窓枠プレーンを、１枚のフレーム画像上に重ね合わせ、個々の窓枠図形の内部から切り出した窓内画像とサンプル画像との類否判定により物体検出が行われる。しかも、窓枠プレーン上の窓枠図形はシフト処理によって移動するため、フレーム画像ごとに、それぞれ重ね合わせられる窓枠図形の位置が変化する。このため、１枚のフレーム画像に関する空間的な検出精度を低く設定し、演算負担を軽減したとしても、時間軸が異なる複数枚のフレームについて、それぞれ空間的に異なる位置の窓内画像について類否判定が行われることになり、空間的な検出精度に対する補填が行われる。よって、空間的な検出精度および時間的な検出精度の双方を維持しつつ、演算処理時間を短縮することが可能になる。

また、窓枠プレーンとともに固定プレーンを設定する実施形態を採用すれば、合致判定がなされた窓枠図形が固定プレーンへと移され、シフト処理の対象から外されるため、１つのフレーム画像上で一度検出された物体が、後続するフレーム画像上でも引き続き検出されやすくなり、検出精度を向上させることができる。

更に、サンプル画像を拡大もしくは縮小する変倍処理を行って複数ｍ通りのサンプル画像を用意する実施形態を採用すれば、入力したサンプル画像とは倍率が異なる物体が存在しても検出が可能になり、検出精度を向上させることができる。

動画を解析して特定の物体を検出する一般的なアルゴリズムを説明するための原理図である。 物体検出システムで実行される類否判定方法の一例を示す図である。 物体検出システムで実行される類否判定方法の別な一例を示す図である。 サンプル画像Ｐ（Ｓ）と窓内画像Ｐ（Ｗ）との比較による類否判定を行う様子を示す図である。 フレーム画像Ｆと窓枠図形Ｗとの位置関係を示す平面図である。 時系列で得られる複数のフレーム画像によって動画が構成されている例を示す図である。 個々のフレーム画像に対するリアルタイムでの処理プロセスを示すタイムチャートである。 本発明に係る物体検出システムにおいて、配置平面上にグリッド点Ｇを分散配置した状態を示す平面図である。 図８に示す各グリッド点Ｇを中心として、それぞれ窓枠図形Ｗ（太線）を配置することにより窓枠プレーンαを設定した状態を示す平面図である。 第１番目のフレーム画像Ｆ（１）に第１番目の窓枠プレーンα（１）を重ね合わせた状態を示す平面図である。 第２番目のフレーム画像Ｆ（２）に第２番目の窓枠プレーンα（２）を重ね合わせた状態を示す平面図である。 第Ｇｘ番目のフレーム画像Ｆ（Ｇｘ）に第Ｇｘ番目の窓枠プレーンα（Ｇｘ）を重ね合わせた状態を示す平面図である。 第（Ｇｘ＋１）番目のフレーム画像Ｆ（Ｇｘ＋１）に第（Ｇｘ＋１）番目の窓枠プレーンα（Ｇｘ＋１）を重ね合わせた状態を示す平面図である。 第（Ｇｘ＋２）番目のフレーム画像Ｆ（Ｇｘ＋２）に第（Ｇｘ＋２）番目の窓枠プレーンα（Ｇｘ＋２）を重ね合わせた状態を示す平面図である。 第２Ｇｘ番目のフレーム画像Ｆ（２Ｇｘ）に第２Ｇｘ番目の窓枠プレーンα（２Ｇｘ）を重ね合わせた状態を示す平面図である。 第（２Ｇｘ＋１）番目のフレーム画像Ｆ（２Ｇｘ＋１）に第（２Ｇｘ＋１）番目の窓枠プレーンα（２Ｇｘ＋１）を重ね合わせた状態を示す平面図である。 第（Ｇｙ・Ｇｘ）番目のフレーム画像Ｆ（Ｇｙ・Ｇｘ）に第（Ｇｙ・Ｇｘ）番目の窓枠プレーンα（Ｇｙ・Ｇｘ）を重ね合わせた状態を示す平面図である。 第１番目のフレーム画像Ｆ（１）から第（Ｇｙ・Ｇｘ）番目のフレーム画像Ｆ（Ｇｙ・Ｇｘ）に至る個々のフレーム画像について、窓枠図形Ｗ（２，２）が重ね合わせられる位置を示す平面図である。 窓枠図形Ｗ（２，２）のシフト処理によるフレーム画像Ｆ上の走査領域を示す平面図である。 窓枠図形Ｗ（２，２）のシフト処理によるフレーム画像Ｆ上の走査領域を示す別な平面図である。 窓枠図形Ｗ（２，２），Ｗ（２，３），Ｗ（３，２）がそれぞれ担当する走査領域を示す平面図である。 本発明の基本的実施形態に係る物体検出システムの基本構成を示すブロック図である。 本発明の基本的実施形態に係る物体検出方法の基本手順を示すブロック図である。 本発明の固定プレーンを用いる実施形態の基本原理を示す平面図である。 本発明の固定プレーンを用いる実施形態の基本原理を示す斜視図である。 本発明の固定プレーンを用いる実施形態において、フレーム画像Ｆに窓枠プレーンαおよび固定プレーンβを重ね合わせた状態を示す平面図である。 サンプル画像の物体Ｍとは異なる倍率の物体が含まれているフレーム画像についての類否判定の一例を示す図である。 サンプル画像に対する変倍処理を行う実施形態の基本原理を示す平面図である。 図８に示す各グリッド点Ｇを中心として、それぞれ５０％に変倍した窓枠図形Ｗ５０（太線）を配置することにより窓枠プレーンα（５０％）を設定した状態を示す平面図である。 図８に示す各グリッド点Ｇを中心として、それぞれ１００％に変倍した窓枠図形Ｗ１００（太線）を配置することにより窓枠プレーンα（１００％）を設定した状態を示す平面図である。 図８に示す各グリッド点Ｇを中心として、それぞれ２００％に変倍した窓枠図形Ｗ２００（太線）を配置することにより窓枠プレーンα（２００％）を設定した状態を示す平面図である。 本発明の固定プレーンを用いるとともに変倍処理を行う実施形態において、フレーム画像Ｆに窓枠プレーンαおよび固定プレーンβを重ね合わせた状態を示す平面図である。 本発明に係る監視システムの構成例を示す側面図である。 図３３に示す監視システムに適したグリッド点の定義例を示す図である。

以下、本発明を図示する実施形態に基づいて説明する。

＜＜＜ §１． 特定物体の検出アルゴリズム ＞＞＞
ここでは、まず、動画を解析して特定の物体を検出するための一般的なアルゴリズムを説明する。ここで述べるアルゴリズムは、テンプレートマッチングと呼ばれる手法の１つであり、個々のフレーム画像上で部分的な領域を走査しながら、予めテンプレートとして用意されているサンプル画像に類似した領域を探し出す、という原理に基づく探索アルゴリズムである。

図１は、このような探索アルゴリズムを説明するための原理図である。図１(a) は、検出対象となる物体Ｍの画像を含むサンプル画像Ｐ（Ｓ）の平面図である。ここで、物体Ｍは、静止物体である必要はなく、車両や船舶などの移動物体であってもかまわないし、工業製品のみならず農作物や動植物であってもかまわない。あるいは、人間やその一部（たとえば、顔の部分）を物体Ｍとしてもかまわない。ただ、ここでは、便宜上、図示のようなバドミントンの羽根状の物体を、検出対象となる物体Ｍとした実施例について以下の説明を行うことにする。

サンプル画像Ｐ（Ｓ）は、検出対象となる物体Ｍを含んだ画像であれば、どのような画像であってもかまわないが、検出精度を高める上では、実際の動画画像上に現れると予想される物体Ｍの画像になるべく近似した、同程度のサイズの画像を用意するのが好ましい。

一方、図１(b) 〜(d) は、解析対象となる動画を構成する１枚のフレーム画像Ｆに対する探索プロセスを示す平面図である。図１(b) 〜(d) に示されているフレーム画像Ｆは、同一の画像であり、動画の１コマ分の静止画像ということになる。ここでは、図示のとおり、フレーム画像Ｆの左下位置に物体Ｍが写っているものとしよう。物体Ｍの探索は、このフレーム画像Ｆ上の所定位置に窓枠図形Ｗを配置し、その内部から窓内画像Ｐ（Ｗ）を切り出してサンプル画像Ｐ（Ｓ）と比較することにより行われる。窓枠図形Ｗの位置を動かしながら、比較対象となる両画像についての類否判定を行い、両者が類似していると判定された場合には、当該フレーム画像Ｆ上の、当該窓内画像Ｗの位置に、検出対象となる物体Ｍが存在するとの認識がなされる。

図１に示す例の場合、まず、図１(b) に示すように、フレーム画像Ｆの左上隅の位置に窓枠図形Ｗ１（図では太線の矩形で示す）を配置している。ここで、窓枠図形Ｗ１は、サンプル画像Ｐ（Ｓ）と同一形状同一サイズ（画素配列が同一）の図形であり、その内部から切り出される窓内画像Ｐ（Ｗ１）は、サンプル画像Ｐ（Ｓ）と同一サイズの画像（画素配列が同一の画像）になる。そこで、窓枠図形Ｗ１から切り出された窓内画像Ｐ（Ｗ１）とサンプル画像Ｐ（Ｓ）との類否判定が行われる。図において「Ｐ（Ｓ）：Ｐ（Ｗ１）」なる記号が付された白矢印は、両画像の類否判定処理を示している。

図１(b) に示されている点Ｑ１は、窓枠基準点であり、窓枠図形Ｗ１の中心に位置する点である。別言すれば、窓枠図形Ｗ１は、この窓枠基準点Ｑ１を基準とする特定位置、すなわち、この例の場合は窓枠基準点Ｑ１が中心点となるような特定位置に配置されていることになる。

図１(c) は、フレーム画像Ｆ上で窓枠基準点Ｑを走査することにより、窓枠図形Ｗを走査する様子を示す平面図である。この図には、窓枠基準点の初期位置Ｑ１をＺ字状に移動させながら、点Ｑ２の位置まで走査した状態（点Ｑ１〜点Ｑ２間の窓枠基準点の位置は図示省略）が示されている。窓枠基準点Ｑ１の位置には窓枠図形Ｗ１（太い破線）が配置されていたが、窓枠基準点Ｑ２の位置には窓枠図形Ｗ２（太い実線）が配置されている。この窓枠基準点Ｑ２の位置では、「Ｐ（Ｓ）：Ｐ（Ｗ２）」なる記号が付された白矢印で示すとおり、窓枠図形Ｗ２から切り出された窓内画像Ｐ（Ｗ２）とサンプル画像Ｐ（Ｓ）との類否判定が行われる。

図１(d) には、フレーム画像Ｆ上で窓枠基準点ＱのＺ字状走査を更に続け、点Ｑ３の位置まで走査した状態が示されている。この窓枠基準点Ｑ３の位置では、「Ｐ（Ｓ）：Ｐ（Ｗ３）」なる記号が付された白矢印で示すとおり、窓枠図形Ｗ３から切り出された窓内画像Ｐ（Ｗ３）とサンプル画像Ｐ（Ｓ）との類否判定が行われる。

要するに、サーチライトのスポットで捜索するように、同一の窓枠図形Ｗをフレーム画像Ｆ上で移動させてゆき、個々の位置において、窓枠図形Ｗの内部から切り出した窓内画像Ｐ（Ｗ）をサンプル画像Ｐ（Ｓ）と比較する探索処理が繰り返し行われる。そして、両画像が類似すると判定された位置に、物体Ｍが存在するとの認定がなされる。

図示の例の場合、フレーム画像Ｆの左下位置に物体Ｍが写っているため、図１(d) に示す点Ｑ３の位置まで走査した段階で、物体Ｍが発見されることになる。すなわち、図１(b) に示す窓内画像Ｐ（Ｗ１）とサンプル画像Ｐ（Ｓ）との類否判定では非類似と判定され、図１(c) に示す窓内画像Ｐ（Ｗ２）とサンプル画像Ｐ（Ｓ）との類否判定でも非類似と判定され、図１(d) に示す窓内画像Ｐ（Ｗ３）とサンプル画像Ｐ（Ｓ）との類否判定で、はじめて類似と判定されることになる。その結果、窓枠基準点Ｑ３の位置（すなわち、窓枠図形Ｗ３の位置）に物体Ｍが検出される。

図２は、サンプル画像Ｐ（Ｓ）と窓内画像Ｐ（Ｗ）との類否判定方法の一例を示す図である。この判定方法の場合、図２(a) の平面図に示すとおり、互いに対応位置にある画素の画素値を比較する処理を行い、画素値の差が所定の基準以下である場合に両者が類似している旨の判定がなされる。

図２(a) には、サンプル画像Ｐ（Ｓ）の第ｉ番目の画素Ｈｓ（ｉ）の画素値と、窓内画像Ｐ（Ｗ）の第ｉ番目の画素Ｈｗ（ｉ）の画素値と、を比較する例が示されている。前述のとおり、サンプル画像Ｐ（Ｓ）と窓内画像Ｐ（Ｗ）とは同一サイズであり、同一の画素配列を有している。したがって、すべての画素は１対１に対応するので、それぞれ対応する画素同士で画素値の比較を行えばよい。カラー画像の場合は、３原色の個々の画素値ごとに差を求める処理を行い、差の絶対値の総和が所定の基準以下である場合に類似している旨の判定を行えばよい。

図２(b) には、カラー画像についての具体的な判定処理に用いる式の一例が示されている。この例の場合、まず、図（ｂ１）に示すように、サンプル画像Ｐ（Ｓ）上の第ｉ番目の画素Ｈｓ（ｉ）の３原色ＲＧＢの画素値をそれぞれＲｓ（ｉ），Ｇｓ（ｉ），Ｂｓ（ｉ）と定義し、窓内画像Ｐ（Ｗ）上の第ｉ番目の画素Ｈｗ（ｉ）の３原色ＲＧＢの画素値をそれぞれＲｗ（ｉ），Ｇｗ（ｉ），Ｂｗ（ｉ）と定義する。

そして、図（ｂ２）に示すように、相互に対応する第ｉ番目の画素Ｈｓ（ｉ）とＨｗ（ｉ）とについて、それぞれ各原色ごとに画素値の差の絶対値ΔＲ（ｉ），ΔＧ（ｉ），ΔＢ（ｉ）を計算する。すなわち、ΔＲ（ｉ）＝|Ｒｓ（ｉ）−Ｒｗ（ｉ）|、ΔＧ（ｉ）＝|Ｇｓ（ｉ）−Ｇｗ（ｉ）|、ΔＢ（ｉ）＝|Ｂｓ（ｉ）−Ｂｗ（ｉ）|なる演算が行われる。

最後に、図（ｂ３）に示す合致判定の条件式が満足されているか否かが調べられる。すなわち、Σ_i=1〜n（ΔＲ（ｉ）＋ΔＧ（ｉ）＋ΔＢ（ｉ））≦Ｄthなる条件式を満足するか否かが確認される。ここで、ｎは、各画像内の総画素数であり、Ｄthは予め設定された類否判定のための所定の閾値である。

この図２に示す類否判定方法は、たとえば、ベルトコンベア上を特定の向きで流れてくる特定の工業製品を物体Ｍとして検出するような用途に最適である。ベルトコンベアの上方に定点カメラを設置して動画撮影を行えば、物体Ｍのフレーム画像Ｆ上の大きさはほぼ一定になるため、高精度での検出が可能になる。

一方、図３は、サンプル画像Ｐ（Ｓ）と窓内画像Ｐ（Ｗ）との類否判定方法の別な一例を示す図である。この判定方法の場合、図３(a) の平面図に示すとおり、各画像が共通する分割態様で複数の部分領域に分割される（図示の例では、９分割されている）。続いて、個々の部分領域ごとにそれぞれ構成画素の平均画素値を求め、互いに対応位置にある部分領域についての平均画素値を比較する処理が行われる。そして、平均画素値の差が所定の基準以下である部分領域の割合が所定の基準以上である場合に両者が類似している旨の判定がなされる。

図３(a) には、サンプル画像Ｐ（Ｓ）の第ｉ番目の領域Ａｓ（ｉ）の平均画素値と、窓内画像Ｐ（Ｗ）の第ｉ番目の領域Ａｗ（ｉ）の平均画素値と、を比較する例が示されている。この例では、各画像がそれぞれ９分割されているため、それぞれ対応する９組の部分領域対について平均画素値の差が求められる。カラー画像の場合は、３原色の個々の平均画素値ごとに差を求める処理を行い、差の絶対値の総和が所定の基準以下である場合に、当該部分領域同士が類似していると判定される。こうして、互いに類似していると判定された部分領域の割合が、所定の基準以上である場合に、両画像が類似しているとの判定がなされることになる。

図３(b) には、カラー画像についての具体的な判定処理に用いる式の一例が示されている。この例の場合、まず、図（ｂ１）に示すように、サンプル画像Ｐ（Ｓ）上の第ｉ番目の領域Ａｓ（ｉ）内の各画素の３原色の平均画素値Ｒｓ′（ｉ），Ｇｓ′（ｉ），Ｂｓ′（ｉ）が求められる。同様に、窓内画像Ｐ（Ｗ）上の第ｉ番目の領域Ａｗ（ｉ）内の各画素の３原色の平均画素値Ｒｗ′（ｉ），Ｇｗ′（ｉ），Ｂｗ′（ｉ）が求められる。

そして、図（ｂ２）に示すように、相互に対応する第ｉ番目の領域Ａｓ（ｉ）とＡｗ（ｉ）とについて、それぞれ各原色ごとに平均画素値の差の絶対値ΔＲ′（ｉ），ΔＧ′（ｉ），ΔＢ′（ｉ）を計算する。すなわち、ΔＲ′（ｉ）＝|Ｒｓ′（ｉ）−Ｒｗ′（ｉ）|、ΔＧ′（ｉ）＝|Ｇｓ′（ｉ）−Ｇｗ′（ｉ）|、ΔＢ′（ｉ）＝|Ｂｓ′（ｉ）−Ｂｗ′（ｉ）|なる演算が行われる。

続いて、図（ｂ３）に示すように、個々の領域ごとに、部分合致判定式が満足されているか否かが調べられる。すなわち、各部分領域について、ΔＲ′（ｉ）＋ΔＧ′（ｉ）＋ΔＢ′（ｉ）≦Ｄth１なる条件式を満足するか否かが確認される。ここで、Ｄth１は、予め設定された領域ごとの平均画素値の差に関する閾値である。この部分合致判定式が満足されていれば、当該部分領域は、部分合致した領域と認識されることになる。この部分合致した領域は、相互に「色合いが似ている」との判断がなされた領域ということになる。

最後に、図（ｂ４）に示す合致判定の条件式が満足されているか否かが調べられる。すなわち、（部分合致した領域の数）／（領域の総数）≧Ｄth２なる条件式を満足するか否かが確認される。ここで、Ｄth２は、予め設定された部分合致した領域数に関する閾値である。図３(a) に示す例の場合、領域の総数は９であるので、たとえば、Ｄth２＝８０％に設定した場合、８以上の部分領域について部分合致が得られた場合に、最終的に、サンプル画像Ｐ（Ｓ）と窓内画像Ｐ（Ｗ）とは類似している、との判定がなされることになる。

この図３に示す類否判定方法は、色彩分布に特徴がある物体Ｍを検出する用途に最適である。たとえば、「茶色の鉢に植えられ、緑色の葉をもち、最上部に赤い花が咲いている植物」といった物品を検出する場合には、高精度での検出が可能になる。

以上、サンプル画像Ｐ（Ｓ）と窓内画像Ｐ（Ｗ）との類否判定方法を２つの例について説明したが、もちろん、この他にも様々な類否判定方法が知られており、後述する本発明の類否判定処理では、上述した２例の他にも、様々な類否判定方法を採用することが可能である。

なお、図２および図３では、サンプル画像Ｐ（Ｓ）と窓内画像Ｐ（Ｗ）とが同一形状同一サイズの画像である場合の類否判定方法を述べたが、両者は必ずしも同一形状である必要はなく、同一サイズである必要もない。別言すれば、窓内画像Ｐ（Ｗ）を切り出すために用いる窓枠図形Ｗは、必ずしも、サンプル画像Ｐ（Ｓ）と同一形状同一サイズの図形である必要はない。サンプル画像Ｐ（Ｓ）と窓内画像Ｐ（Ｗ）との形状やサイズが異なっても、画像としての様々な特徴量（たとえば、空間的な濃度勾配）を抽出し、抽出した特徴量の近似性に基づいて、両画像の類否判定を行うことが可能である。このような画像の特徴量抽出方法としては、様々な方法が公知であるため、ここでは詳しい説明は省略する。

また、図１では、単一のサンプル画像Ｐ（Ｓ）を用いて比較を行う例を述べたが、サンプル画像Ｐ（Ｓ）は複数用いるようにしてもかまわない。たとえば、３つの物品Ｍ１，Ｍ２，Ｍ３を検出する必要がある場合には、３種類のサンプル画像Ｐ（Ｓ１），Ｐ（Ｓ２），Ｐ（Ｓ３）を用意しておき、切り出した窓内画像Ｐ（Ｗ）を各サンプル画像と比較する処理を行えばよい。

このように、本発明で用いる物体検出アルゴリズムでは、必ずしも、サンプル画像Ｐ（Ｓ）と窓内画像Ｐ（Ｗ）とを同一形状同一サイズの画像とする必要はなく、また、用意するサンプル画像Ｐ（Ｓ）は１つだけに限定されるものではない。ただ、以下の実施例では、説明の便宜上、サンプル画像Ｐ（Ｓ）と窓内画像Ｐ（Ｗ）とを同一形状同一サイズの画像とし、用意するサンプル画像Ｐ（Ｓ）を１つだけとする例を述べることにする。

＜＜＜ §２． 演算処理時間に関する問題点とその対応 ＞＞＞
さて、§１では、動画を解析して特定の物体を検出するための一般的なアルゴリズムを説明し、図２および図３には、具体的な類否判定処理の演算例を示した。近年、監視カメラなどで撮影される画像の解像度は向上の一途をたどっており、１枚のフレーム画像に含まれる画素数も膨大なものになってきている。このため、§１で述べた類否判定処理に必要な演算量も膨大になり、負担の大きなものになってきている。したがって、演算処理能力の低いＣＰＵを利用したシステムでは、リアルタイム処理を行うことが困難になってきていることは、既に述べたとおりである。

そこで、従来は、処理能力上の問題から演算処理時間を短縮する必要がある場合には、「空間的な間引き」か「時間的な間引き」を行うことにより対応を行っている。ここで、「空間的な間引き」とは、図１に示す例において、窓枠図形Ｗの走査ピッチを粗くすることを意味する。

たとえば、図１(c) には、窓枠図形ＷをＺ字状に移動させながら、窓枠図形Ｗ１〜Ｗ２へと走査する例が示されている。実際には、窓枠図形Ｗ１とＷ２との間にも、多数の窓枠図形Ｗが存在し、個々の窓枠図形Ｗからそれぞれ窓内画像Ｐ（Ｗ）が切り出され、サンプル画像Ｐ（Ｓ）との比較が行われることになる。

ここで、１枚のフレーム画像Ｆ上での窓枠基準点Ｑの走査ピッチ（すなわち、窓枠図形Ｗの走査ピッチ）を粗くすると、１枚のフレーム画像Ｆから切り出される窓内画像Ｐ（Ｗ）の数は少なくなるので、サンプル画像Ｐ（Ｓ）との比較を行う回数が減って演算負担は軽減され、１枚のフレーム画像Ｆに関する処理時間を短縮することが可能になる。しかしながら、このような「空間的な間引き」を行うと、物体Ｍの空間的な検出精度の低下を招くことになる。

たとえば、図４に示すように、フレーム画像Ｆ上で窓枠基準点Ｑを走査する際に、基準点Ｑ４の次の走査位置として基準点Ｑ５を設定した場合を考えてみよう。この例の場合、基準点Ｑ４，Ｑ５の横方向の距離は、窓枠図形Ｗの横幅に等しく設定されている。別言すれば、窓枠図形Ｗがその横幅のピッチで横方向に走査されることになる。このため、基準点Ｑ４の位置に配置された窓枠図形Ｗ４の右端は、基準点Ｑ５の位置に配置された窓枠図形Ｗ５の左端に重なることになり、隣接配置される窓枠図形Ｗ４，Ｗ５は相互に全く重なり合わない図形になる。

このような粗いピッチで走査を行うと、物体Ｍの検出精度はかなり低下せざるを得ない。すなわち、図４に示す例の場合、フレーム画像Ｆ上に物体Ｍが含まれているにもかかわらず、窓枠図形Ｗ４によって切り出された窓内画像Ｐ（Ｗ４）をサンプル画像Ｐ（Ｓ）と比較する類否判定を行うと非類似との判定がなされ、続いて、窓枠図形Ｗ５によって切り出された窓内画像Ｐ（Ｗ５）をサンプル画像Ｐ（Ｓ）と比較する類否判定を行っても非類似との判定がなされてしまう。これは、窓内画像Ｐ（Ｗ４）や窓内画像Ｐ（Ｗ５）内に物体Ｍの画像の一部が含まれていたとしても、位置にずれが生じているため、図２や図３に示す類否判定方法では、非類似と判定されてしまうためである。

図１(d) に示す例において、窓枠図形Ｗ３によって切り出された窓内画像Ｐ（Ｗ３）がサンプル画像Ｐ（Ｓ）と類似していると判定され、物体Ｍの検出が行われたのは、窓枠図形Ｗ３が物体Ｍの検出に適した位置に配置されていたからに他ならない。したがって、窓枠図形Ｗの走査ピッチをより細かく設定し、図４に示す窓枠基準点Ｑ４とＱ５との間に、図１(d) に示すような走査基準点Ｑ３が位置するようにすれば、物体Ｍの検出が可能になる。

このような観点から、窓枠図形Ｗの縦横の走査ピッチは、１画素単位とするのが理想的であることがわかる。図５は、フレーム画像Ｆと窓枠図形Ｗとの位置関係を示す平面図である。図に格子状に並べられた小さな正方形は、フレーム画像Ｆを構成する個々の画素Ｈである。ここでは、図示のとおり、画素Ｈの横寸法をｈｘとし、縦寸法をｈｙとする。別言すれば、フレーム画像Ｆは、横方向ピッチｈｘ、縦方向ピッチｈｙで並べられた多数の画素の集合体ということになる。

もっとも、コンピュータ上で取り扱われるフレーム画像Ｆは、画素値の配列を示すデジタルデータであるため、寸法ｈｘ，ｈｙは、物理的な寸法値としての意味をもつ量ではない。そこで本願では、寸法ｈｘを横方向の長さの基本単位として用い、寸法ｈｙを縦方向の長さの基本単位として用いることにする。たとえば、図に太線で示す矩形は、窓枠図形Ｗ１を示すものであるが、当該窓枠図形Ｗ１は、横方向寸法が１４、縦方向寸法が１０の矩形ということになる。ここで、横方向寸法の数値「１４」は１４画素分の横幅であることを示し、概念的には、１４×ｈｘなる長さを示している。同様に、縦方向寸法の数値「１０」は１０画素分の縦幅であることを示し、概念的には、１０×ｈｙなる長さを示している。

また、ここでは、フレーム画像Ｆを構成する個々の画素Ｈを、その画素配列上の行および列を示す数字を付記して示すことにし、第ｉ行第ｊ列目の画素をＨ（ｉ，ｊ）のように示すことにする。たとえば、図示されている画素Ｈ（１，１）は１行１列目の画素、画素Ｈ（１，２）は１行２列目の画素、画素Ｈ（２，１）は２行１列目の画素を示している。したがって、図示の窓枠図形Ｗ１は、その左上隅の画素が画素Ｈ（１，１）であるような矩形（この例の場合、横が１４画素分の長さ、縦が１０画素分の長さをもつ矩形）ということになる。

窓枠図形Ｗの縦横の走査ピッチを、理想的な１画素単位とする場合、まず、図５に太い実線の矩形で示す窓枠図形Ｗ１をフレーム画像Ｆ上に配置し、窓内画像Ｐ（Ｗ１）を切り出し、サンプル画像Ｐ（Ｓ）との比較を行うことになる。続いて、この窓枠図形Ｗ１を１画素分だけ右にシフトし、図５に太い破線の矩形で示す窓枠図形Ｗ２をフレーム画像Ｆ上に配置し、窓内画像Ｐ（Ｗ２）を切り出し、サンプル画像Ｐ（Ｓ）との比較を行うことになる。同様に、窓枠図形Ｗを右方向に順次１画素分ずつシフトさせる走査を行い、フレーム画像Ｆの右端に到達したら、続いて、２行目の画素Ｈ（２，１）を左上隅の画素とする窓枠図形Ｗを配置すればよい。図１(c) に示すＺ字状の軌跡は、このような走査が行われることを示している。

処理能力上の問題から演算処理時間を短縮するために「空間的な間引き」を行うのであれば、このような窓枠図形Ｗの縦横の走査ピッチを、より粗く設定すればよい。たとえば、縦横の走査ピッチを２画素単位とすれば、配置される窓枠図形の右上隅の画素は、Ｈ（１，１），Ｈ（１，３），Ｈ（１，５），... ,Ｈ（３，１），Ｈ（３，３），Ｈ（３，５），... というようになり、総演算量（すなわち、総演算時間）は１／４に低減される。しかしながら、「空間的な間引き」の量を大きくすればするほど、１枚のフレーム画像に対する空間的な検出精度は低下することになる。たとえば、横方向の走査ピッチを窓枠図形Ｗの横幅（図５に示す例の場合は１４）に設定すると、図４の例のような状態が生じ、物体Ｍの検出に失敗する。

一方、「時間的な間引き」とは、動画を構成する連続したフレーム画像のすべてを処理対象とせず、数枚おきに抽出したフレーム画像についてのみ探索を行うことを意味する。図６は、時系列で得られる複数のフレーム画像Ｆ（１），Ｆ（２），Ｆ（３），... ，Ｆ（ｋ）によって動画が構成されている例を示す図である。たとえば３０フレーム／秒のフレームレートをもつ動画の場合、１／３０秒ごとに新たなフレーム画像が提供されることになる。

もちろん、本来であれば、この連続したフレーム画像のすべてについて、図１に示す探索処理を行うべきである。しかしながら、演算処理時間を短縮するためには、「時間的な間引き」を行うこともやむを得ない。特に、リアルタイム処理が必要とされる監視システムなどでは、１／３０秒ごとに新たなフレーム画像が提供されたとしても、１枚のフレーム画像Ｆについての処理時間が１／３０秒以下に抑えられない限り、「時間的な間引き」を行わざるを得ない。

図７は、個々のフレーム画像に対するリアルタイムでの処理プロセスを示すタイムチャートであり、図の横軸は時間軸を示す。図７(a) は、時系列でフレーム画像Ｆ（１），Ｆ（２），Ｆ（３）が順次提供されるタイミングを示している。すなわち、時刻ｔ１において第１番目のフレーム画像Ｆ（１）が提供され、時刻ｔ２において第２番目のフレーム画像Ｆ（２）が提供され、... 以下同様である。上例の場合、ｔ１〜ｔ２の時間は１／３０秒ということになる。

図７(b) は、探索処理が行われる理想的なタイミングを示している。ここで、Ｅ（１）はフレーム画像Ｆ（１）について図１に例示するような探索アルゴリズムの処理プロセス、Ｅ（２）はフレーム画像Ｆ（２）についての同様の処理プロセス、... 以下同様である。図示の例では、各処理プロセスＥ（１），Ｅ（２），... の後に星印で示す予備時間が残されている。このような予備時間が確保されるようにすれば、個々のフレーム画像について、物体検出の探索処理だけでなく、他の様々な処理をリアルタイムで実行することができる。したがって、理想的には、この図７(b) に示すようなタイミングで各処理プロセスＥ（１），Ｅ（２），... が実行されるのが好ましい。

しかしながら、演算処理能力が低いため、１／３０秒の時間では探索処理のプロセスが完了しない場合には、図７(c) に示す例のように、１つのフレーム画像についての処理を実行中に、監視カメラから後続する別なフレーム画像の提供が行われてしまうことになる。図示の例の場合、処理プロセスＥＥ（１）は、時刻ｔ１において提供された第１番目のフレーム画像Ｆ（１）についての探索処理のプロセスであるが、プロセスが完了した時点は時刻ｔ４を過ぎており、既に第４番目のフレーム画像Ｆ（４）の提供が行われてしまっている。したがって、処理プロセスＥＥ（１）の次には、第５番目のフレーム画像Ｆ（５）についての探索処理のプロセスＥＥ（５）を行わざるを得ない。その結果、フレーム画像Ｆ（２）〜Ｆ（４）についての探索処理は省かれ、「時間的な間引き」が行われることになる。

検出対象となる物体Ｍが動体である場合、個々のフレーム画像ごとに、物体Ｍが写っている位置は異なる。たとえば、図６に示す例の場合、第１番目のフレーム画像Ｆ（１）上の物体Ｍの位置と第ｋ番目のフレーム画像Ｆ（ｋ）上の物体Ｍの位置とは異なっている。このため、物体Ｍの移動速度が速いと、「時間的な間引き」により物体Ｍの検出に失敗する可能性がある。このように、「時間的な間引き」を行うと、動画全体に対する時間的な検出精度を低下させる要因になる。

このように、処理能力上の問題から演算処理時間を短縮する必要がある場合、「空間的な間引き」もしくは「時間的な間引き」という対応策を採ることが可能であるが、いずれの対応策を採っても、動画を解析して特定の物体を検出するという目的を達成する上では、物体の検出精度が低下することは否めない。

本発明は、このような問題の解決を目的とするものであり、空間的な検出精度および時間的な検出精度の双方を維持しつつ、演算処理時間を短縮することが可能な物体検出システムおよび物体検出方法を提供するものである。

＜＜＜ §３． 本発明に係る窓枠図形とそのシフト処理 ＞＞＞
続いて、本発明の特徴となる窓枠図形とそのシフト処理の概念を説明する。まず、図８に示すように、Ｘ軸を横軸、Ｙ軸を縦軸にとった二次元ＸＹ座標系上に、窓枠図形Ｗを配置するための配置平面を定義し、この配置平面上にグリッド点Ｇを分散配置する。別言すれば、グリッド点Ｇは、ＸＹ平面上に分散して配置するように定義された点ということになる。

ここに示す実施例の場合、Ｘ軸方向ピッチＧｘ、Ｙ軸方向ピッチＧｙをもつ二次元格子の各格子点の位置にグリッド点Ｇを配置している。前述したとおり、長さの基本単位は、画素ピッチｈｘ，ｈｙであるので、図示の各グリッド点Ｇは、横方向に画素ピッチｈｘのＧｘ倍の間隔をおいて並び、縦方向に画素ピッチｈｙのＧｙ倍の間隔をおいて並んだ点ということになる。ここでは、説明の便宜上、第ｉ行第ｊ列目に並んでいるグリッド点をＧ（ｉ，ｊ）と呼ぶことにする。

続いて、図９に示すように、個々のグリッド点Ｇを基準とした所定位置に、それぞれ所定形状をもった所定サイズの図形配置する。これらの図形は、§１で述べた探索アルゴリズムにおける窓枠図形Ｗに対応する。§１で述べたとおり、ここに示す実施例では、この窓枠図形Ｗとして、サンプル画像Ｐ（Ｓ）と同一形状同一サイズの図形を用意することにする。ここでは、サンプル画像Ｐ（Ｓ）として矩形の画像を用意しているため、各窓枠図形Ｗも図に太線で示すとおり矩形となり、その中心位置が各グリッド点Ｇに一致するように配置される。もっとも、グリッド点Ｇと窓枠図形Ｗとの相対位置は任意に設定することが可能であり、たとえば、窓枠図形Ｗの左上隅点がグリッド点Ｇ上にくるように配置してもかまわない。

ここでは、グリッド点Ｇ（ｉ，ｊ）を中心位置として配置された窓枠図形を窓枠図形Ｗ（ｉ，ｊ）と呼ぶことにする。また、窓枠図形Ｗ（ｉ，ｊ）の横幅をＳｘ、縦幅をＳｙとする。長さの基本単位は、画素ピッチｈｘ，ｈｙであるので、１つの窓枠図形Ｗ（ｉ，ｊ）から切り出される窓内画像Ｐ（Ｗ（ｉ，ｊ））は、横方向にＳｘ個、縦方向にＳｙ個の画素を並べた画素配列によって構成されることになる。

なお、上述したとおり、窓枠図形Ｗ（ｉ，ｊ）の横幅Ｓｘおよび縦幅Ｓｙは、サンプル画像Ｐ（Ｓ）の横幅および縦幅に一致するように設定されるので、サンプル画像Ｐ（Ｓ）が比較的大きな画像であり、Ｓｘ＞Ｇｘ、Ｓｙ＞Ｇｙとなるような場合は、隣接する窓枠図形Ｗが相互に重なり合うことになる。図９に示す例は、Ｓｘ＜Ｇｘ、Ｓｙ＜Ｇｙとなる例であるため、隣接する窓枠図形Ｗが互いに重なり合うことはなく、両者間に若干の空隙が確保されている。

本願では、図９に示すように、配置平面上の所定位置に複数の窓枠図形Ｗ（ｉ，ｊ）を配置したものを窓枠プレーンαと呼ぶことにする。後述するように、窓枠プレーンα上に配置された窓枠図形Ｗ（ｉ，ｊ）に対しては、配置平面（ＸＹ平面）上で移動させるシフト処理が行われる。ここでは、シフト処理により窓枠図形Ｗ（ｉ，ｊ）の配置がそれぞれ異なることになった複数の窓枠プレーンαを相互に区別するため、窓枠プレーンα（１），α（２），α（３），... のように番号を付して呼ぶことにする。

図１０は、図６に示す第１番目のフレーム画像Ｆ（１）に第１番目の窓枠プレーンα（１）を重ね合わせた状態を示す平面図である。図１０に示す窓枠プレーンα（１）は、図９に示す窓枠プレーンαと同じものであり、図にハッチングを施して示す矩形領域が、フレーム画像Ｆ（１）に相当する。説明の便宜上、フレーム画像Ｆ（１）はその輪郭だけを示し、内部にハッチングを施すことにより、画像（物体Ｍなど）の描画は省略する。

上述したシフト処理の説明を行う上では、フレーム画像Ｆ（１）に対する各窓枠図形Ｗ（ｉ，ｊ）の相対位置を明確にすることが非常に重要である。そこで、図に×印で示すとおり、フレーム画像Ｆ（１）の左上隅点に基準点Ｃを定義し、この基準点Ｃに対する各窓枠図形Ｗ（ｉ，ｊ）の相対位置に着目することにする。ここでは、特に、第２行第２列目の窓枠図形Ｗ（２，２）を太線で示すことにし、この窓枠図形Ｗ（２，２）と基準点Ｃとの相対位置に着目しながら、シフト処理の説明を行うことにする。このため、図１０〜図１７において、窓枠図形Ｗ（２，２）だけが太線で示されているが、これはシフト処理の説明の便宜のためであり、窓枠図形Ｗ（２，２）についてのみ特殊な処理が行われるわけではない。

ここで行うシフト処理は、図１(c) に示す走査処理の役割を担うものであり、フレーム画像Ｆ上において、窓枠図形ＷをＺ字状に走査することを目的としている。したがって、シフト処理による各窓枠図形Ｗ（ｉ，ｊ）の移動方向は、図１(c) に示すＺ字状の走査方向に準じたものになる。実際には、１つの窓枠図形Ｗによってフレーム画像Ｆの全領域を走査する必要はないので、後述するように、縦横の実際の走査距離は、図１(c) に示す走査距離に比べて小さい。

シフト処理が、図１(c) に示すＺ字状の走査に準じたものであることを念頭におけば、図９に示す窓枠プレーンαを第１番目の窓枠プレーンα（１）として、第２番目の窓枠プレーンα（２）を得るには、第１番目の窓枠プレーンα（１）上の各窓枠図形Ｗ（ｉ，ｊ）のすべてを、配置平面（ＸＹ平面）上で図の右方向（Ｘ軸正方向）に所定のシフト距離だけ移動させればよいことが理解できよう。図１１は、このようにして得られた第２番目の窓枠プレーンα（２）を第２番目のフレーム画像Ｆ（２）上に重ねた状態を示す平面図である。

図１０では、第１番目のフレーム画像Ｆ（１）上に第１番目の窓枠プレーンα（１）が重ねられていたが、図１１では、第２番目のフレーム画像Ｆ（２）上に第２番目の窓枠プレーンα（２）が重ねられている。このように、フレーム画像Ｆが新しくなると、そこに重ねる窓枠プレーンαも新しくなり、しかも新窓枠プレーンα上では、旧窓枠プレーンα上の各窓枠図形Ｗ（ｉ，ｊ）に対するシフト処理が行われている点がここで示す実施形態の重要な特徴である。

ここで、フレーム画像Ｆは、常に、ＸＹ座標系上の定位置に配置するものとする。別言すれば、処理対象となるフレーム画像がＦ（１），Ｆ（２），Ｆ（３），... と更新されても、その配置は常に固定されていることになる。一方、これらに重ねられる窓枠プレーンα（１），α（２），α（３），... 上では、上記シフト処理によって、各窓枠図形Ｗ（ｉ，ｊ）のＸＹ座標系上での位置がずれてゆくことになる。その結果、フレーム画像に対する各窓枠図形Ｗ（ｉ，ｊ）の相対位置も、フレーム画像がＦ（１），Ｆ（２），Ｆ（３），... と更新されるにつれて、少しずつずれてゆくことになる。

このような相対位置のずれは、図に太線で示す窓枠図形Ｗ（２，２）の位置と図に×印で示す基準点Ｃ（フレーム画像Ｆの左上隅点）の位置とを対比すれば、容易に理解できよう。すなわち、図１０に示すように、第１番目のフレーム画像Ｆ（１）と第１番目の窓枠プレーンα（１）との相対位置関係は、前者の基準点Ｃの位置に、後者の窓枠図形Ｗ（２，２）の左上隅点の位置が重なるような関係になっているのに対して、図１１に示すように、第２番目のフレーム画像Ｆ（２）と第２番目の窓枠プレーンα（２）との相対位置関係は、前者の基準点Ｃの位置よりも、後者の窓枠図形Ｗ（２，２）の左上隅点の位置が、右方向にシフト距離ｄｘだけ隔たっている。

これは、第２番目の窓枠プレーンα（２）上の各窓枠図形Ｗ（ｉ，ｊ）が、第１番目の窓枠プレーンα（１）上の各窓枠図形Ｗ（ｉ，ｊ）の位置よりも、図の右方向（Ｘ軸正方向）にシフト距離ｄｘだけ移動していることを意味する。シフト距離ｄｘとしては、任意の距離を設定することが可能であるが、ここでは、ｄｘ＝１に設定している。前述したとおり、長さの基本単位は、画素ピッチｈｘ，ｈｙであるので、ｄｘ＝１とは、シフト距離ｄｘを画素Ｈの横方向ピッチｈｘとする設定を意味する。したがって、たとえば、太線で示す窓枠図形Ｗ（２，２）に着目すれば、図１０に示す窓枠プレーンα（１）に比べて、図１１に示す窓枠プレーンα（２）では、Ｘ軸方向に１画素分だけずれていることになり、ちょうど、図５に示す窓枠図形Ｗ１とＷ２の関係になっている。

同様に、第３番目のフレーム画像Ｆ（３）に重ねられる第３番目の窓枠プレーンα（３）では、各窓枠図形Ｗ（ｉ，ｊ）が、第２番目の窓枠プレーンα（２）上の各窓枠図形Ｗ（ｉ，ｊ）の位置よりも、更に図の右方向（Ｘ軸正方向）に１画素分の距離だけ右に移動したものになり、第１番目の窓枠プレーンα（１）と比べると、Ｘ軸方向のシフト距離はｄｘ＝２になる。同様に、第４番目のフレーム画像Ｆ（４）に重ねられる第４番目の窓枠プレーンα（４）では、各窓枠図形Ｗ（ｉ，ｊ）が、更に１画素分の距離だけ右に移動したものになり、第１番目の窓枠プレーンα（１）と比べると、Ｘ軸方向のシフト距離はｄｘ＝３になる。

図１２は、第Ｇｘ番目のフレーム画像Ｆ（Ｇｘ）に第Ｇｘ番目の窓枠プレーンα（Ｇｘ）を重ね合わせた状態を示す平面図である。ここで、Ｇｘは、図８に示すとおり、グリッド点ＧのＸ軸方向ピッチである。第Ｇｘ番目の窓枠プレーンα（Ｇｘ）では、第１番目の窓枠プレーンα（１）と比べると、各窓枠図形Ｗ（ｉ，ｊ）のＸ軸方向のシフト距離はｄｘ＝Ｇｘ−１になる。したがって、図１２に示す例の場合、太線で示す窓枠図形Ｗ（２，２）の右上隅点は、ハッチングを施して示すフレーム画像Ｆ（Ｇｘ）の右上隅に位置する基準点Ｃに対して、図の右方向にｄｘ＝Ｇｘ−１だけ隔たった位置にある。

なお、図では、便宜上、各窓枠プレーンα（１），α（２），... ，α（Ｇｘ）の輪郭矩形を図面の定位置に配しているため、図１０〜図１２を対比観察すると、あたかもハッチングを施して示すフレーム画像Ｆ（１），Ｆ（２），... ，Ｆ（Ｇｘ）が徐々に図の左方に移動しているように見えるが、実際には、各フレーム画像Ｆ（１），Ｆ（２），... ，Ｆ（Ｇｘ）はＸＹ座標系上の定位置に固定されており、各フレーム画像の基準点Ｃ（左上隅点）は、ＸＹ座標系上の定点となり、窓枠プレーンα（１），α（２），... ，α（Ｇｘ）上の各窓枠図形Ｗ（ｉ，ｊ）の方が徐々に図の右方に移動してゆくことになる。

ここで、図１０〜図１２に示すシフト処理は、図１(c) に示す横方向の走査に対応する。そして、この横方向のシフト処理は、図１２に示すように、第Ｇｘ番目の窓枠プレーンα（Ｇｘ）が得られた時点で終了する。すなわち、続く第（Ｇｘ＋１）番目のフレーム画像Ｆ（Ｇｘ＋１）に重ねられる第（Ｇｘ＋１）番目の窓枠プレーンα（Ｇｘ＋１）は、図１３に示すようなものになる。この図１３に示す窓枠プレーンα（Ｇｘ＋１）の特徴は、図１０に示す窓枠プレーンα（１）と対比するとよくわかる。

すなわち、図１０に示す第１番目の窓枠プレーンα（１）では、太線で示す窓枠図形Ｗ（２，２）の左上隅点が基準点Ｃに重なる位置にあったのに対して、図１３に示す第（Ｇｘ＋１）番目の窓枠プレーンα（Ｇｘ＋１）では、太線で示す窓枠図形Ｗ（２，２）の左上隅点の位置が、基準点Ｃの位置よりも下方にシフト距離ｄｙだけ隔たっている。

これは、第（Ｇｘ＋１）番目の窓枠プレーンα（Ｇｘ＋１）上の各窓枠図形Ｗ（ｉ，ｊ）が、第１番目の窓枠プレーンα（１）上の各窓枠図形Ｗ（ｉ，ｊ）の位置よりも、図の下方向（Ｙ軸負方向）にシフト距離ｄｙだけ移動していることを意味する。シフト距離ｄｙとしては、任意の距離を設定することが可能であるが、ここでは、ｄｙ＝１に設定している。前述したとおり、長さの基本単位は、画素ピッチｈｘ，ｈｙであるので、ｄｙ＝１とは、シフト距離ｄｙを画素Ｈの縦方向ピッチｈｙとする設定を意味する。したがって、たとえば、太線で示す窓枠図形Ｗ（２，２）に着目すれば、図１０に示す窓枠プレーンα（１）に比べて、図１３に示す窓枠プレーンα（Ｇｘ＋１）では、Ｙ軸方向に１画素分だけずれていることになる。

結局、図１０〜図１２に示すシフト処理は、各窓枠図形Ｗ（ｉ，ｊ）の位置を、画素配列の行方向に順次移動させてゆく水平走査に相当することになり、図１２から図１３に移るシフト処理は、各窓枠図形Ｗ（ｉ，ｊ）の位置を、次の行の先頭（左端）にジャンプさせる垂直走査に相当することになる。水平走査を図１２に示す位置で終了する理由は、もう１画素分だけ水平走査を続けると、図１２に示す窓枠図形Ｗ（２，１）の左上隅点が基準点Ｃに重なる位置にくるため、窓枠図形Ｗ（２，１）の基準点Ｃに対する相対位置が、図１０に示す窓枠図形Ｗ（２，２）の基準点Ｃに対する相対位置と同じになってしまうためである（詳細は後述）。

図１４は、第（Ｇｘ＋２）番目のフレーム画像Ｆ（Ｇｘ＋２）に第（Ｇｘ＋２）番目の窓枠プレーンα（Ｇｘ＋２）を重ね合わせた状態を示す平面図である。第（Ｇｘ＋２）番目の窓枠プレーンα（Ｇｘ＋２）では、図１３に示す第（Ｇｘ＋１）番目の窓枠プレーンα（Ｇｘ＋１）と比べて、各窓枠図形Ｗ（ｉ，ｊ）が右方向に１画素分だけシフトしている。したがって、図１４に示す例の場合、太線で示す窓枠図形Ｗ（２，２）の左上隅点は、ハッチングを施して示すフレーム画像Ｆ（Ｇｘ＋２）の左上隅に位置する基準点Ｃに対して、図の右方向にｄｘ＝１だけ隔たり、図の下方向にｄｙ＝１だけ隔たった位置にある。

同様に、第（Ｇｘ＋３）番目の窓枠プレーンα（Ｇｘ＋３）では、各窓枠図形Ｗ（ｉ，ｊ）が右方向に更に１画素分だけ移動したものになり、基準点Ｃに対する窓枠図形Ｗ（２，２）の左上隅点の隔たりは、右方向にｄｘ＝２、下方向にｄｙ＝１になる。また、次の第（Ｇｘ＋４）番目の窓枠プレーンα（Ｇｘ＋４）では、各窓枠図形Ｗ（ｉ，ｊ）が右方向に更に１画素分だけ移動したものになり、基準点Ｃに対する窓枠図形Ｗ（２，２）の左上隅点の隔たりは、右方向にｄｘ＝３、下方向にｄｙ＝１になる。

図１５は、第２Ｇｘ番目のフレーム画像Ｆ（２Ｇｘ）に第２Ｇｘ番目の窓枠プレーンα（２Ｇｘ）を重ね合わせた状態を示す平面図である。第２Ｇｘ番目の窓枠プレーンα（２Ｇｘ）では、第１番目の窓枠プレーンα（１）と比べると、各窓枠図形Ｗ（ｉ，ｊ）のＸ軸方向のシフト距離はｄｘ＝Ｇｘ−１、Ｙ軸方向のシフト距離はｄｙ＝１になる。したがって、図１５に示す例の場合、太線で示す窓枠図形Ｗ（２，２）の左上隅点は、ハッチングを施して示すフレーム画像Ｆ（２Ｇｘ）の左上隅に位置する基準点Ｃに対して、図の右方向にｄｘ＝Ｇｘ−１だけ隔たり、図の下方向にｄｙ＝１だけ隔たった位置にある。

ここで、図１４〜図１５に示すシフト処理は、図１(c) に示す２行目についての横方向の走査に対応する。そして、この２行目の横方向のシフト処理は、図１５に示すように、第２Ｇｘ番目の窓枠プレーンα（２Ｇｘ）が得られた時点で終了する。すなわち、続く第（２Ｇｘ＋１）番目のフレーム画像Ｆ（２Ｇｘ＋１）に重ねられる第（２Ｇｘ＋１）番目の窓枠プレーンα（２Ｇｘ＋１）は、図１６に示すようなものになる。この図１６に示す窓枠プレーンα（２Ｇｘ＋１）では、太線で示す窓枠図形Ｗ（２，２）の左上隅点の位置が、基準点Ｃの位置よりも下方にシフト距離ｄｙ＝２だけ隔たっている。すなわち、図１６に示す窓枠プレーンα（２Ｇｘ＋１）は、図１３に示す窓枠プレーンα（Ｇｘ＋１）をＹ軸方向に１画素分だけずらしたものになっている。

結局、図１４〜図１５に示すシフト処理は、各窓枠図形Ｗ（ｉ，ｊ）の位置を、画素配列の行方向に順次移動させてゆく水平走査に相当することになり、図１５から図１６に移るシフト処理は、各窓枠図形Ｗ（ｉ，ｊ）の位置を、次の行の先頭（左端）にジャンプさせる垂直走査に相当することになる。水平走査を図１５に示す位置で終了する理由は、もう１画素分だけ水平走査を続けると、図１５に示す窓枠図形Ｗ（２，１）の基準点Ｃに対する相対位置が、図１３に示す窓枠図形Ｗ（２，２）の基準点Ｃに対する相対位置と同じになってしまうためである（詳細は後述）。

図１６に示す窓枠プレーンα（２Ｇｘ＋１）の次には、各窓枠図形Ｗ（ｉ，ｊ）の位置を右方向に１画素分だけシフトさせた窓枠プレーンα（２Ｇｘ＋２）が用いられる。この窓枠プレーンα（２Ｇｘ＋２）では、窓枠図形Ｗ（２，２）の左上隅点は、基準点Ｃに対して、図の右方向にｄｘ＝１だけ隔たり、図の下方向にｄｙ＝２だけ隔たった位置にある。

このように、各窓枠図形Ｗ（ｉ，ｊ）の位置を、画素配列の行方向に順次移動させてゆくシフト処理（水平走査）は、窓枠図形Ｗ（２，２）の左上隅点が基準点Ｃに対してｄｘ＝Ｇｘ−１だけ隔たりを生じる位置まで繰り返され、当該位置まで到達すると、ｄｘ＝０となる位置まで戻し、Ｙ軸方向の隔たりｄｙを１だけ増加させるシフト処理（垂直走査）を行った上で、再び行方向のシフト処理（水平走査）を繰り返すことになる。このような走査は、図１(c) に示すＺ字状の走査に相当する。

このようなＺ字状の走査は、図１７に示す第（Ｇｙ・Ｇｘ）番目の窓枠プレーンα（Ｇｙ・Ｇｘ）が得られるまで繰り返される。この窓枠プレーンα（Ｇｙ・Ｇｘ）は、第（Ｇｙ・Ｇｘ）番目のフレーム画像Ｆ（Ｇｙ・Ｇｘ）に重ね合わされる窓枠プレーンであり、太線で示す窓枠図形Ｗ（２，２）の左上隅点は、基準点Ｃに対して、右方向にシフト距離ｄｘ＝Ｇｘ−１だけ隔たり、下方向にシフト距離ｄｙ＝Ｇｙ−１だけ隔たったものになっている。

こうして、図１７に示す窓枠プレーンα（Ｇｙ・Ｇｘ）が得られたら、Ｚ字状の走査は初期状態に戻される。すなわち、続く第（Ｇｙ・Ｇｘ＋１）番目のフレーム画像Ｆ（Ｇｙ・Ｇｘ＋１）に重ね合わされる窓枠プレーンα（Ｇｙ・Ｇｘ＋１）は、図１０に示す第１番目の窓枠プレーンα（１）と同じものになり、太線で示す窓枠図形Ｗ（２，２）の左上隅点は、フレーム画像Ｆ（Ｇｙ・Ｇｘ＋１）の左上隅に定義された基準点Ｃの位置にくる。Ｚ字状の走査処理を図１７に示す位置で終了する理由は、もう１画素分だけ下方にずらす垂直走査を続けると、窓枠図形Ｗ（１，２）の基準点Ｃに対する相対位置が、図１０に示す窓枠図形Ｗ（２，２）の基準点Ｃに対する相対位置と同じになってしまうためである（詳細は後述）。

＜＜＜ §４． 本発明に係る物体検出の基本原理 ＞＞＞
§３では、図１０〜図１７を参照しながら、窓枠プレーンα（１）〜α（Ｇｙ・Ｇｘ）とフレーム画像Ｆ（１）〜Ｆ（Ｇｙ・Ｇｘ）との位置関係を説明し、フレーム画像Ｆに対して各窓枠図形Ｗ（ｉ，ｊ）によるＺ字状の走査が行われることを示した。前述したように、図１０〜図１７では、図示の便宜上、各窓枠プレーンα（１）〜α（Ｇｙ・Ｇｘ）の輪郭矩形を図面の定位置に配しているため、図１０〜図１７を対比観察すると、あたかもハッチングを施して示すフレーム画像Ｆ（１）〜Ｆ（Ｇｙ・Ｇｘ）が移動しているように見えるが、実際には、各フレーム画像Ｆ（１）〜Ｆ（Ｇｙ・Ｇｘ）はＸＹ座標系上の定位置に固定されており、各フレーム画像の基準点Ｃ（左上隅点）は、ＸＹ座標系上の定点となる。

このように、図にハッチングを施して示した各フレーム画像Ｆ（１）〜Ｆ（Ｇｙ・Ｇｘ）が定位置に固定されているという前提で、図に太線で示す窓枠図形Ｗ（２，２）のフレーム画像Ｆに対する相対位置の変遷を辿りながら図１０〜図１７を観察すれば、窓枠図形Ｗ（２，２）がフレーム画像Ｆ上をＺ字状に走査してゆく様子を把握することができよう。

図１８は、第１番目のフレーム画像Ｆ（１）から第（Ｇｙ・Ｇｘ）番目のフレーム画像Ｆ（Ｇｙ・Ｇｘ）に至る個々のフレーム画像について、窓枠図形Ｗ（２，２）が重ね合わせられる位置を示す平面図である。上述したとおり、フレーム画像Ｆ（１）〜Ｆ（Ｇｙ・Ｇｘ）の位置は常に定位置であるが、窓枠図形Ｗ（２，２）の位置は窓枠プレーンα（１）〜α（Ｇｙ・Ｇｘ）ごとに徐々に変遷してゆく。図では、第ｋ番目のフレーム画像Ｆ（ｋ）に重ね合わされる第ｋ番目の窓枠プレーンα（ｋ）における窓枠図形Ｗ（２，２）の位置を、Ｗ（２，２）［Ｆ（ｋ）］なる符号で示してある。

すなわち、窓枠図形Ｗ（２，２）［Ｆ（１）］は、第１番目のフレーム画像Ｆ（１）に重ね合わされる第１番目の窓枠プレーンα（１）における窓枠図形Ｗ（２，２）の位置を示している。窓枠図形Ｗ（２，２）［Ｆ（１）］の左上隅点は、フレーム画像Ｆ（１）の左上隅に定義された基準点Ｃに一致している。両者の相対位置関係は、図１０の状態に対応する。

一方、窓枠図形Ｗ（２，２）［Ｆ（Ｇｘ）］は、第Ｇｘ番目のフレーム画像Ｆ（Ｇｘ）に重ね合わされる第Ｇｘ番目の窓枠プレーンα（Ｇｘ）における窓枠図形Ｗ（２，２）の位置を示している。窓枠図形Ｗ（２，２）［Ｆ（Ｇｘ）］の左上隅点は、基準点Ｃから右方向にシフト距離ｄｘ＝Ｇｘ−１だけ隔たっており、両者の相対位置関係は、図１２の状態に対応する。

そして、窓枠図形Ｗ（２，２）［Ｆ（（Ｇｙ−１）・Ｇｘ＋１）］は、第（（Ｇｙ−１）・Ｇｘ＋１）番目のフレーム画像Ｆ（（Ｇｙ−１）・Ｇｘ＋１）に重ね合わされる第（（Ｇｙ−１）・Ｇｘ＋１）番目の窓枠プレーンα（（Ｇｙ−１）・Ｇｘ＋１）における窓枠図形Ｗ（２，２）の位置を示している。窓枠図形Ｗ（２，２）［Ｆ（（Ｇｙ−１）・Ｇｘ＋１）］の左上隅点は、基準点Ｃから下方向にシフト距離ｄｙ＝Ｇｙ−１だけ隔たっている。

最後に、窓枠図形Ｗ（２，２）［Ｆ（Ｇｙ・Ｇｘ）］は、第（Ｇｙ・Ｇｘ）番目のフレーム画像Ｆ（Ｇｙ・Ｇｘ）に重ね合わされる第（Ｇｙ・Ｇｘ）番目の窓枠プレーンα（Ｇｙ・Ｇｘ）における窓枠図形Ｗ（２，２）の位置を示している。窓枠図形Ｗ（２，２）［Ｆ（Ｇｙ・Ｇｘ）］の左上隅点は、基準点Ｃから右方向にシフト距離ｄｘ＝Ｇｘ−１だけ隔たっており、下方向にシフト距離ｄｙ＝Ｇｙ−１だけ隔たっている。両者の相対位置関係は、図１７の状態に対応する。

ここに示す実施例の場合、これら各窓枠図形Ｗ（２，２）は、検出対象となる物体Ｍの画像を含むサンプル画像Ｐ（Ｓ）と同一形状同一サイズの図形であり、この各窓枠図形Ｗ（２，２）から切り出される窓内画像Ｐ（Ｗ（２，２））は、サンプル画像Ｐ（Ｓ）と比較されて類否判定が行われる。この類否判定に基づく物体検出のアルゴリズムは、既に§１で説明したとおりである。

図１９は、窓枠図形Ｗ（２，２）のシフト処理によるフレーム画像Ｆ上の走査領域を示す平面図である。図１８に示す各窓枠図形Ｗ（２，２）のフレーム画像Ｆに対する相対位置を参照すれば、窓枠図形Ｗ（２，２）のＺ字状走査により、フレーム画像Ｆ上の走査領域Ａ（Ｗ（２，２））が探索対象となることが容易に理解できよう。ここで、図８に示すように、グリッド点ＧのＸ軸方向ピッチをＧｘ、Ｙ軸方向ピッチをＧｙとし、図９に示すように、各窓枠図形Ｗの横幅をＳｘ、縦幅をＳｙとすれば、走査領域Ａ（Ｗ（２，２））は、横幅Ｇｘ−１＋Ｓｘ、縦幅Ｇｙ−１＋Ｓｙをもった矩形領域になる。

もちろん、図１９に示す走査領域Ａ（Ｗ（２，２））は、あくまでも１つの窓枠図形Ｗ（２，２）が担当する走査領域である。したがって、図１９にハッチングを施した残りの領域は、窓枠図形Ｗ（２，２）による走査は受けないが、別な窓枠図形による走査の対象となる。図９に示すとおり、各窓枠プレーンα上には、多数の窓枠図形がマトリックス状に配置されており、フレーム画像Ｆ上の各領域は、これら多数の窓枠図形による走査によって探索される。

図２０は、窓枠図形Ｗ（２，２）のシフト処理によるフレーム画像Ｆ上の走査領域を示す別な平面図である。図に太い実線で示す矩形は、図１８に示した窓枠図形Ｗ（２，２）［Ｆ（１）］および窓枠図形Ｗ（２，２）［Ｆ（Ｇｘ）］であり、いずれも横幅Ｓｘをもつ矩形である。両者の横方向の隔たりはＧｘ−１であり、走査領域Ａ（Ｗ（２，２））の横幅は、Ｇｘ−１＋Ｓｘになる。一方、図に太い破線で示す矩形（内部にハッチングを施して示す）は、窓枠図形Ｗ（２，３）［Ｆ（１）］である。すなわち、第１番目の窓枠プレーンα（１）上において、窓枠図形Ｗ（２，２）［Ｆ（１）］の右隣に窓枠図形Ｗ（２，３）［Ｆ（１）］が位置していることになる。

窓枠図形Ｗ（２，３）も窓枠図形Ｗ（２，２）と全く同様に、フレーム画像Ｆ上をＺ字状に走査するので、走査領域Ａ（Ｗ（２，２））と同じ面積をもった走査領域Ａ（Ｗ（２，３））を担当することになる。図２１は、互いに隣接する窓枠図形Ｗ（２，２），Ｗ（２，３），Ｗ（３，２）がそれぞれ担当する走査領域を示す平面図である。実線で囲って示す走査領域Ａ（Ｗ（２，２））は窓枠図形Ｗ（２，２）が担当する走査領域、破線で囲って示す走査領域Ａ（Ｗ（２，３））は窓枠図形Ｗ（２，３）が担当する走査領域、一点鎖線で囲って示す走査領域Ａ（Ｗ（３，２））は窓枠図形Ｗ（３，２）が担当する走査領域である。

図２１では、各走査領域に異なるハッチングを施して示してあるが、図示のとおり、これら各走査領域は部分的に重複している。但し、重複領域の横幅Ｌｘは、図２０に示す窓枠図形Ｗの横幅Ｓｘよりも小さくなり、重複領域の縦幅Ｌｙは、窓枠図形Ｗの縦幅Ｓｙよりも小さくなる。すなわち、Ｌｘ＜Ｓｘ、Ｌｙ＜Ｓｙである。これは、図２０に示すように、窓枠図形Ｗ（２，２）の水平方向の走査を、右方向への隔たりがＧｘ−１に到達したところで打ち切り、窓枠図形Ｗ（２，２）の垂直方向の走査を、下方向への隔たりがＧｙ−１に到達したところで打ち切っているためである。

図２０を見れば明らかなように、もし、窓枠図形Ｗ（２，２）の水平方向の走査を、右方向への隔たりがＧｘとなる位置まで行ったとすると、Ｗ（２，２）［Ｆ（Ｇｘ）］に続いて、これを右方向に１画素分シフトしたＷ（２，２）［Ｆ（Ｇｘ＋１）］が設定されることになり、窓枠図形Ｗ（２，２）が担当する走査領域Ａ（Ｗ（２，２））の横幅は１画素分右へ広がることになるが、その場合、Ｗ（２，２）［Ｆ（Ｇｘ＋１）］は、図にハッチングを施して示す窓枠図形Ｗ（２，３）［Ｆ（１）］と完全に一致してしまう。これは、フレーム画像Ｆ上の全く同じ領域に対して、２通りの窓枠図形Ｗ（２，２）［Ｆ（Ｇｘ＋１）］とＷ（２，３）［Ｆ（１）］とによる重複走査が行われることを意味する。

もちろん、上例の場合、窓枠図形Ｗ（２，２）［Ｆ（Ｇｘ＋１）］が、第（Ｇｘ＋１）番目のフレーム画像Ｆ（Ｇｘ＋１）の上に重ねられるのに対して、窓枠図形Ｗ（２，３）［Ｆ（１）］は、第１番目のフレーム画像Ｆ（１）の上に重ねられるので、各窓枠図形から切り出される窓内画像は異なるものになり、上述した重複走査は必ずしも無意味な走査ではない。ただ、できるだけ効率的な探索を行って演算処理時間を短縮する、という本発明の目的を達成する上では、このような重複走査を避けた方が、より効率的な処理が期待できる。

そこで、ここで述べる実施例の場合は、窓枠図形Ｗ（２，２）の水平方向の走査を、右方向への隔たりがＧｘ−１に到達したところで打ち切り、第（Ｇｘ＋１）番目のフレーム画像Ｆ（Ｇｘ＋１）に重ねる第（Ｇｘ＋１）番目の窓枠プレーンα（Ｇｘ＋１）としては、図１３に示すように、各窓枠図形Ｗ（ｉ，ｊ）を下方向に１画素分シフトしたものを用いている。同様の理由により、ここで述べる実施例の場合は、窓枠図形Ｗ（２，２）の垂直方向の走査を、下方向への隔たりがＧｙ−１に到達したところで打ち切っている。

したがって、ここで述べる実施例の場合は、図２１に示すとおり、互いに隣接する窓枠図形が担当する走査領域Ａ（Ｗ（２，２）），Ａ（Ｗ（２，３）），Ａ（Ｗ（３，２））には、部分的に重なりが生じているものの、重複領域の横幅Ｌｘおよび縦幅Ｌｙは、窓枠図形Ｗの横幅Ｓｘおよび縦幅Ｓｙよりも小さくなるので、フレーム画像Ｆ上の全く同じ領域に対して、異なる複数の窓枠図形Ｗによって重複走査が行われることはない。

このように、ここで述べる実施例において、窓枠図形Ｗの水平方向の走査を、右方向への隔たりがＧｘ−１に到達したところで打ち切り、垂直方向の走査を、下方向への隔たりがＧｙ−１に到達したところで打ち切っているのは、図１９に示すように、１つの窓枠図形Ｗが担当する走査領域の横幅をＧｘ−１＋Ｓｘとし、縦幅をＧｙ−１＋Ｓｙとすることにより、重複領域の横幅Ｌｘおよび縦幅Ｌｙが、Ｌｘ＜Ｓｘ、Ｌｙ＜Ｓｙなる条件を満たすようにし、フレーム画像Ｆ上の全く同じ領域に対して重複走査が行われることを避けるための配慮である。

さて、ここで述べる実施例の場合、図１９に示すように、窓枠図形Ｗ（２，２）によるＺ字状の走査により、フレーム画像Ｆ上における担当走査領域Ａ（Ｗ（２，２））内の探索が行われる。そして、図９に示すように、窓枠プレーンα上には、複数の窓枠図形Ｗが分散して配置されているため、フレーム画像Ｆ上の全領域に対して、いずれかの窓枠図形Ｗによる探索が行われる。図９には、配置平面（ＸＹ平面）上に５×５のマトリックス状に２５個の窓枠図形Ｗを配置した例を示したが、実際の窓枠図形Ｗの数および配置は、上述した走査処理により、フレーム画像Ｆ上の全領域がいずれかの窓枠図形Ｗの担当走査領域によってカバーされるように定めればよい。

この実施例の場合も、検出アルゴリズムの基本は、§１で述べたアルゴリズムと全く同じである。すなわち、各フレーム画像Ｆの上に窓枠プレーンαを重ね合わせ、当該窓枠プレーンα上に配置されている各窓枠図形Ｗによって、フレーム画像Ｆから窓内画像Ｐ（Ｗ）を切り出し、これをサンプル画像Ｐ（Ｓ）と比較して類否判定を行い、両者が類似していると判定された場合に、当該フレーム画像Ｆ上の、当該窓内画像Ｐ（Ｗ）の位置に、検出対象となる物体Ｍが存在する旨の検出が行われる。

ただ、個々のフレーム画像Ｆと個々の窓枠図形Ｗとの対応関係は、§１で述べた従来の検出アルゴリズムとは異なってくる。図１に示す探索アルゴリズムでは、同一のフレーム画像Ｆに対して、窓枠図形Ｗによる走査が行われる。このときの走査ピッチをあまり粗くすると、図４に示した例のように、検出に失敗することになる。したがって、実際には、縦横の走査ピッチを１画素分もしくはせいぜい数画素分に設定しないと、実用的な空間的検出精度を確保することができない。このため、演算処理能力の低いシステムでは、演算処理時間が長くかかるという問題が生じることは、既に述べたとおりである。

これに対して、ここで述べる実施例の場合、１枚のフレーム画像Ｆに対する窓枠図形Ｗの走査ピッチは、かなり粗く設定されていることになる。たとえば、図１０には、第１番目のフレーム画像Ｆ（１）に、第１番目の窓枠プレーンα（１）を重ね合わせた状態が示されている。窓枠プレーンα（１）上には、合計２５個の窓枠図形が配置されているが、図示の例の場合、このうち９個の窓枠図形Ｗがフレーム画像Ｆ（１）に重なって配置されている。したがって、この９個の窓枠図形Ｗからそれぞれ窓内画像Ｐ（Ｗ）が切り出され、サンプル画像Ｐ（Ｓ）と比較する処理が行われる。

具体的には、たとえば、窓枠図形Ｗ（２，２）からは窓内画像Ｐ（Ｗ（２，２））が切り出され、窓枠図形Ｗ（２，３）からは窓内画像Ｐ（Ｗ（２，３））が切り出され、それぞれサンプル画像Ｐ（Ｓ）との比較が行われる。比較の結果、両者が類似しているとの判定が行われれば、当該窓内画像の位置に物体Ｍが検出されたことになる。

なお、図示の例の場合、窓枠図形Ｗ（４，２）は、フレーム画像Ｆ（１）の下端から一部が食み出しているため、窓枠図形Ｗ（４，２）から切り出された窓内画像Ｐ（Ｗ（４，２））は、図にハッチングを施した部分だけに画像データを含む不完全な画像になるが、当該ハッチング領域の部分についてだけ比較を行えば、実用上は支障は生じない。もっとも、ハッチング領域の割合が少なくなると、誤検出の可能性が高まるので、実用上は、ハッチング領域の割合が一定以下である場合には、類否判定処理を行わないようにするのが好ましい。

§３で述べたとおり、第１番目のフレーム画像Ｆ（１）に重ねられるのは、図１０に示す第１番目の窓枠プレーンα（１）だけである。一般論として説明すれば、第ｋ番目のフレーム画像Ｆ（ｋ）には、第ｋ番目の窓枠プレーンα（ｋ）が重ね合わせられることになるので、第ｋ番目のフレーム画像Ｆ（ｋ）については、この第ｋ番目の窓枠プレーンα（ｋ）上に離散的に配置された窓枠図形Ｗによる窓内画像の切り出しが行われるだけである。

このように、本発明の場合、ある１枚のフレーム画像Ｆについての空間的な検出精度のみを捉えると、従来の一般的な検出方法に比べて、かなり精度の低い検出が行われることになる。実際、図１０に示す例では、第１番目のフレーム画像Ｆ（１）については、離散的に配置された９個の窓枠図形Ｗから切り出した９枚の窓内画像Ｐ（Ｗ）についてのみ、サンプル画像Ｐ（Ｓ）との類否判定が行われることになる。このような検出プロセスは、フレーム画像Ｆ（１）に関する限りにおいて、図４に示す失敗例よりも更に粗い走査を行う検出プロセスと同等になる。

しかしながら、本発明では、配置平面上で窓枠図形Ｗを移動させるシフト処理を行うことにより、常に新たな窓枠プレーンαが生成されるため、空間的な検出精度の低下を、時間軸上に沿ったシフト処理によって補うことが可能なる。

たとえば、図１０に示すように、第１番目のフレーム画像Ｆ（１）について第１番目の窓枠プレーンα（１）を用いた探索処理が行われた後には、図１１に示すように、第２番目のフレーム画像Ｆ（２）について第２番目の窓枠プレーンα（２）を用いた探索処理が行われることになる。ここで、図１０に太線で示す窓枠図形Ｗ（２，２）［Ｆ（１）］のフレーム画像Ｆ（１）に対する相対位置と、図１１に太線で示す窓枠図形Ｗ（２，２）［Ｆ（２）］のフレーム画像Ｆ（２）に対する相対位置と、を比較すると、シフト処理によって、前者よりも後者の方が右方向にシフト距離ｄｘ＝１（１画素分）だけずれていることがわかる。

同様に、第３番目のフレーム画像Ｆ（３）について第３番目の窓枠プレーンα（３）を用いた探索処理が行われることになるが、そのときの窓枠図形Ｗ（２，２）［Ｆ（３）］の位置は、更に右方向に１画素分だけずれ、シフト距離ｄｘ＝２になる。そして、図１２に示すように、第Ｇｘ番目のフレーム画像Ｆ（Ｇｘ）について第Ｇｘ番目の窓枠プレーンα（Ｇｘ）を用いた探索処理を行う際には、窓枠図形Ｗ（２，２）［Ｆ（Ｇｘ）］の位置は、シフト距離ｄｘ＝Ｇｘ−１だけ右方向にずれたものになる。

このような探索プロセスでは、同一のフレーム画像Ｆを対象とした走査ではないものの、時間的に連続した一連のフレーム画像Ｆ（１）〜Ｆ（Ｇｘ）を対象として、窓枠図形Ｗ（２，２）を右方向に１画素分ずつ走査する探索が行われていることになる。実際には、Ｙ軸方向への垂直走査も行われるので、一連のフレーム画像Ｆ（１）〜Ｆ（Ｇｙ・Ｇｘ）を対象として、窓枠図形Ｗ（２，２）の二次元的な走査が行われることになる。ここで、もし、一連のフレーム画像Ｆ（１）〜Ｆ（Ｇｙ・Ｇｘ）が全く同一の画像であったとすれば、図１(c) において、縦横の走査ピッチを１画素に設定した場合の探索プロセスと同等の空間的かつ時間的検出精度をもった探索プロセスが実行されたことになる。しかも、１枚のフレーム画像Ｆに関する類否判定は、上例の場合、９枚の窓内画像Ｐ（Ｗ）についてのみ行えばよいので、演算処理の負担は大幅に軽減され、演算処理時間を大幅に短縮することができる。別言すれば、図７(b) に示すような理想的なタイミングで探索処理が可能になり、演算処理能力の低いシステムであっても、リアルタイム処理を十分に行うことが可能である。

一般に、動画は３０フレーム／秒程度のレートで連続的に与えられるフレーム画像によって構成されており、よほど速い移動物体でない限り、第ｋ番目のフレーム画像Ｆ（ｋ）上の物体Ｍの位置と、第（ｋ＋１）番目のフレーム画像Ｆ（ｋ＋１）上の物体Ｍの位置とが、大きく異なることはない。したがって、上例の場合、一連のフレーム画像Ｆ（１）〜Ｆ（Ｇｙ・Ｇｘ）は、完全に同一の画像ではないにしても、ほぼ同一の画像と言うことができ、たとえ移動する物体Ｍを含んでいたとしても、その位置の変化は微小なものと考えてよい。したがって、実用上、十分な空間的な検出精度を確保することが可能になる。

要するに、本発明によれば、１枚のフレーム画像Ｆに関する限りにおいて「空間的な間引き」が行われていることになるが、この「空間的な間引き」による検出精度の低下は、時間軸上で窓枠図形に対するシフト処理を行うことによって補填され、動画全体としてみれば、空間的な検出精度を十分に確保することが可能になる。しかも、１枚のフレーム画像Ｆに関する演算処理時間が大幅に短縮され、図７(b) に示すような理想的なタイミングで探索処理が可能になるため、図７(c) に示すような「時間的な間引き」を行う必要はない。よって、時間的な検出精度を十分に確保することも可能になる。かくして、本発明によれば、空間的な検出精度および時間的な検出精度の双方を維持しつつ、演算処理時間を短縮することが可能になる。

なお、上述した実施例では、十分な空間的検出精度を確保するため、シフト処理における横方向ピッチおよび縦方向ピッチを１画素分に設定しているが、演算処理時間を更に短縮したい場合には、これらのピッチを２画素分以上に設定してもかまわない（もちろん、シフト処理のピッチを大きく設定すればするほど、空間的な検出精度は低下する）。また、上述した実施例では、十分な時間的検出精度を確保するため、「時間的な間引き」を全く行わない例、すなわち、第ｋ番目のフレーム画像Ｆ（ｋ）についての探索処理が完了した後、これに後続する第（ｋ＋１）番目のフレーム画像Ｆ（ｋ＋１）についての探索処理を行う例を示したが、演算処理能力が極めて低いシステムであるため、第ｋ番目のフレーム画像Ｆ（ｋ）についての探索処理が、第（ｋ＋１）番目のフレーム画像Ｆ（ｋ＋１）が提供されるまでに完了しない場合には、図７(c) に示すような「時間的な間引き」を行うようにしてもかまわない。

＜＜＜ §５． 本発明に係る物体検出システムの基本構成および動作 ＞＞＞
図２２は、本発明の基本的実施形態に係る物体検出システムの基本構成を示すブロック図である。この物体検出システムは、§４で述べた物体検出の基本原理に基づいて、動画を解析して特定の物体を検出する機能を果たす。

図示のとおり、この物体検出システムには、フレーム画像入力部１１０、フレーム画像格納部１２０、フレーム画像抽出部１３０、窓枠プレーン設定部１４０、窓内画像切出部１５０、物体検出部１６０、サンプル画像格納部１７０、サンプル画像入力部１８０が設けられている。実際には、これらの各構成要素は、コンピュータに専用のプログラムを組み込むことによって構成することができる。したがって、実用上、この物体検出システムは、汎用コンピュータに専用プログラムをインストールすることにより構成されることになる。

フレーム画像入力部１１０は、解析対象となる動画を時系列で与えられる複数のフレーム画像として入力する構成要素であり、フレーム画像格納部１２０は、フレーム画像入力部１１０によって入力されたフレーム画像を格納する構成要素である。図２２には、フレーム画像格納部１２０に、時間軸上で連続した一連のフレーム画像Ｆ（１），Ｆ（２），Ｆ（３），... ，Ｆ（ｋ）... が格納されている状態が示されている。これらの各フレーム画像は、図６に例示するように、検出対象となる物体Ｍを含む画像である。なお、フレーム画像格納部１２０には、入力された全フレーム画像を蓄積しておく必要はなく、不要になったフレーム画像は逐次削除してゆくようにしてもかまわない。したがって、たとえば、最新のフレーム画像１枚だけを一時的に格納するバッファメモリによってフレーム画像格納部１２０を構成することもできる。

フレーム画像抽出部１３０は、このフレーム画像格納部１２０に格納されているフレーム画像を、それぞれ抽出画像として順次抽出する処理を行う。これまで述べてきた実施例の場合、フレーム画像抽出部１３０は、フレーム画像格納部１２０に格納されている連続したフレーム画像を時系列の順に従って、１枚ずつ連続的に抽出する機能を果たす。別言すれば「時間的な間引き」を全く行わずに、第１番目のフレーム画像Ｆ（１），第２番目のフレーム画像Ｆ（２），第３番目のフレーム画像Ｆ（３），... と順番に抽出する処理が行われる。図には、第ｋ番目のフレーム画像Ｆ（ｋ）が抽出画像として抽出された例が示されている。

もっとも、フレーム画像抽出部１３０は、必ずしもフレーム画像格納部１３０に格納されている連続したフレーム画像を、時系列の順に従って１枚ずつ連続的に抽出する処理を行う必要はなく、「時間的な間引き」を行うために、たとえば、４枚おきに抽出する等、所定のフレーム間隔をおいて周期的に抽出する処理を行ってもかまわない。「時間的な間引き」を行うと、フレーム画像入力部１１０がリアルタイムで動画入力を行っている場合でも、図７(c) に示す例のように、１枚のフレーム画像Ｆについての演算処理時間を十分に確保することが可能になる。ただ、時間的な検出精度は低下することになる。

窓枠プレーン設定部１４０は、配置平面上（上述した実施例の場合はＸＹ平面上）の所定位置に複数の窓枠図形Ｗを配置した窓枠プレーンαを、個々の抽出画像Ｆ（ｋ）に対応づけて設定する機能を果たす。すなわち、図示の例のように、フレーム画像抽出部１３０が第ｋ番目のフレーム画像を抽出画像Ｆ（ｋ）として抽出した場合、当該抽出画像Ｆ（ｋ）に対応づけて、第ｋ番目の窓枠プレーンα（ｋ）を設定する処理が行われる。図において、フレーム画像抽出部１３０から窓枠プレーン設定部１４０に向かう矢印は、抽出画像Ｆ（ｋ）の抽出タイミングを示す信号の流れを示している。フレーム画像抽出部１３０から窓枠プレーン設定部１４０に対して、次の抽出画像Ｆ（ｋ＋１）を抽出したタイミングを示す信号が与えられると、窓枠プレーン設定部１４０は、新たに第（ｋ＋１）番目の窓枠プレーンα（ｋ＋１）を設定する処理を行うことになる。

フレーム画像抽出部１３０によって抽出された抽出画像Ｆ（ｋ）および窓枠プレーン設定部１４０によって設定された窓枠プレーンα（ｋ）は、窓内画像切出部１５０に与えられる。窓内画像切出部１５０は、与えられた抽出画像Ｆ（ｋ）上に、与えられた窓枠プレーンα（ｋ）を、所定の位置基準に基づいて重ね合わせ、抽出画像Ｆ（ｋ）から個々の窓枠図形Ｗの内部の窓内画像Ｐ（Ｗ）を切り出す処理を行う。ここで、窓枠プレーンα（ｋ）は、抽出画像Ｆ（ｋ）に対応して窓枠プレーン設定部１４０によって設定された窓枠プレーンである。

上述した実施例の場合、抽出画像Ｆ（ｋ）は、ＸＹ座標系上の定位置に配置され、窓枠プレーンα（ｋ）は、ＸＹ平面を配置平面として所定位置に複数の窓枠図形Ｗを配置したプレーンであるため、いずれもＸＹ座標系の所定位置（たとえば、原点Ｏ）を基準として位置合わせされ、相互に重ね合わされる。窓内画像切出部１５０は、このような重ね合わせにより、抽出画像Ｆ（ｋ）上に配置されることになった各窓枠図形Ｗの内部の画像として、窓内画像Ｐ（Ｗ）を切り出す処理を行う。

物体検出部１６０は、こうして窓内画像切出部１５０によって切り出された窓内画像Ｐ（Ｗ）について、対象物体Ｍの検出処理を行う。この検出処理は、サンプル画像格納部１７０に格納されているサンプル画像Ｐ（Ｓ）との比較によって行われる。サンプル画像入力部１８０は、検出対象となる物体Ｍの画像を含むサンプル画像Ｐ（Ｓ）を入力する役割を果たし、入力されたサンプル画像Ｐ（Ｓ）は、サンプル画像格納部１７０に格納される。物体検出部１６０は、窓内画像Ｐ（Ｗ）とサンプル画像Ｐ（Ｓ）との類否判定を行い、両者が類似していると判定された場合に、当該窓内画像Ｐ（Ｗ）の切り出し対象となったフレーム画像Ｆ（ｋ）上の、当該窓内画像Ｐ（Ｗ）の位置に、検出対象となる物体Ｍが存在する旨の検出結果を出力する。

上述した実施例の場合、窓枠プレーン設定部１４０は、サンプル画像格納部１７０に格納されているサンプル画像Ｐ（Ｓ）と同一形状同一サイズの窓枠図形Ｗを配置した窓枠プレーンα（ｋ）を設定する機能を有している。図において、サンプル画像格納部１７０から窓枠プレーン設定部１４０に向かう矢印は、サンプル画像Ｐ（Ｓ）の形状およびサイズを示す信号の流れを示している。結局、物体検出部１６０による比較対象となる窓内画像Ｐ（Ｗ）とサンプル画像Ｐ（Ｓ）は、同一形状同一サイズの画像になる。このような同一形状同一サイズの画像についての具体的な類否判定の方法は、図２および図３に例示したとおりである。

たとえば、図２に例示した類否判定方法を採用する場合、物体検出部１６０は、窓内画像Ｐ（Ｗ）とサンプル画像Ｐ（Ｓ）とについて、互いに対応位置にある画素Ｈｓ（ｉ），Ｈｗ（ｉ）の画素値を比較する処理を行い、画素値の差が所定の基準以下である場合（図２の例の場合、３原色の画素値の差の総和が閾値Ｄth以下である場合）に両者が類似している旨の判定を行うことになる。

一方、図３に例示した類否判定方法を採用する場合、物体検出部１６０は、窓内画像Ｐ（Ｗ）およびサンプル画像Ｐ（Ｓ）を、それぞれ共通する分割態様で複数の部分領域Ａｓ（ｉ），Ａｗ（ｉ）に分割する処理を行い、個々の部分領域ごとにそれぞれ構成画素の平均画素値を求め、互いに対応位置にある部分領域についての平均画素値を比較する処理を行い、平均画素値の差が所定の基準以下（図３の例の場合、３原色の平均画素値の差の総和が閾値Ｄth１以下）である部分領域の割合が所定の基準以上（図３の例の場合、閾値Ｄth２以上）である場合に両者が類似している旨の判定を行うことになる。

なお、ここに示す実施例の場合、窓枠プレーン設定部１４０は、オペレータによって入力された所定の設定用パラメータに基づいて窓枠プレーンαの設定を行う。ここで、設定用パラメータは、たとえば、図８に示すグリッド点ＧのＸ軸方向ピッチＧｘ，Ｙ軸方向ピッチＧｙや、シフト処理におけるＸ軸方向ピッチおよびＹ軸方向ピッチを示す変数（１画素単位でシフトするか、２画素単位でシフトするか等を定める変数）である。窓枠プレーン設定部１４０は、設定用パラメータおよびサンプル画像Ｐ（Ｓ）の形状やサイズを示す情報に基づいて、配置平面上（ＸＹ平面上）に複数の窓枠図形Ｗを分散して配置した初期窓枠プレーンαを生成し、続いて、配置平面上（ＸＹ平面上）で窓枠図形Ｗを移動させるシフト処理を行うことにより新たな窓枠プレーンαを生成する処理を行う。その結果、個々の抽出画像Ｆ（ｋ）について、それぞれ窓枠図形Ｗの位置が異なる窓枠プレーンαを設定することができる。

より具体的に説明すれば、窓枠プレーン設定部１４０は、まず、図８に示す例のように、配置平面上（ＸＹ平面上）に分散配置された複数のグリッド点Ｇを定義し、図９に示す例のように、個々のグリッド点Ｇを基準とした所定位置に、それぞれ所定形状をもった所定サイズの図形を配置することにより窓枠図形Ｗの配置を行い、初期窓枠プレーンαを生成する。なお、ここに示す実施例の場合、窓枠図形Ｗとして、サンプル画像Ｐ（Ｓ）と同一形状同一サイズの図形を用いているが、窓枠図形Ｗは、必ずしもサンプル画像Ｐ（Ｓ）と同一形状同一サイズの図形とする必要はない。ただ、両者の形状やサイズが異なると、物体検出部１６０によって行われる類否判定処理が複雑になるため、実用上は、同一形状同一サイズの図形を用いるのが好ましい。

§３で述べた基本的なシフト処理の場合、窓枠プレーン設定部１４０は、初期窓枠プレーンαの設定時に用いたグリッド点を移動させることによりシフト処理を行い、新たな窓枠プレーンαの設定を行うことになる。図８に示す例の場合、二次元格子の格子点として個々のグリッド点Ｇが定義されているので、これらの各グリッド点Ｇを同一シフト方向に同一シフト距離だけ移動させることによりシフト処理を行っている。本発明においてシフト処理を行う場合、必ずしも全グリッド点Ｇを、同一シフト方向に同一シフト距離だけ移動させる必要はないが、演算処理を単純化し、効率的な探索処理を行う上では、各グリッド点Ｇを同一シフト方向に同一シフト距離だけ移動させるのが好ましい。

この場合、窓枠プレーン設定部１４０は、二次元ＸＹ座標系のＸ軸およびＹ軸に沿って配置されたグリッド点Ｇを定義し、Ｘ軸方向への単位移動距離（シフト処理のＸ軸方向ピッチ）としてサンプル画像Ｐ（Ｓ）のＸ軸方向画素ピッチｈｘを設定し、Ｙ軸方向への単位移動距離（シフト処理のＹ軸方向ピッチ）としてサンプル画像Ｐ（Ｓ）のＹ軸方向画素ピッチｈｙを設定している。その結果、各グリッド点ＧのＸ軸方向のシフト距離ｄｘは画素ピッチｈｘの整数倍に設定されることになり、各グリッド点ＧのＹ軸方向のシフト距離ｄｙは、画素ピッチｈｙの整数倍に設定されることになる。

ここで、効率的な探索処理を行うためには、窓枠プレーン設定部１４０は、図８に示すグリッド点ＧのＸ軸方向ピッチを画素ピッチｈｘの整数Ｇｘ倍に設定し、グリッド点ＧのＹ軸方向ピッチを画素ピッチｈｙの整数Ｇｙ倍に設定し、§４において図１８〜図２１を参照して説明したとおり、Ｘ軸方向に関するシフト範囲（Ｘ軸方向のシフト距離ｄｘの最大値）を画素ピッチｈｘの（Ｇｘ−１）倍、Ｙ軸方向に関するシフト範囲（Ｙ軸方向のシフト距離ｄｙの最大値）を画素ピッチｈｙの（Ｇｙ−１）倍に設定して、各グリッド点Ｇをこのシフト範囲内でシフトさせることによりシフト処理を行うようにするのが好ましい。

§４で述べたように、Ｚ字状走査に準じたシフト処理を行うには、窓枠プレーン設定部１４０に、グリッド点ＧをＸ軸方向に画素ピッチｈｘだけ移動させるＸ軸シフト動作と、グリッド点をＹ軸方向に画素ピッチｈｙだけ移動させるＹ軸シフト動作と、を行う機能をもたせておき、更に、グリッド点Ｇを、Ｘ軸方向に関する基準位置（基準点Ｃ）からのＸ軸方向に関するシフト距離ｄｘが画素ピッチｈｘの（Ｇｘ−１）倍に達するまでＸ軸シフト動作を繰り返し実行する水平方向の走査処理と、この水平方向の走査処理完了後に、グリッド点ＧのＸ軸方向に関する位置をＸ軸方向に関する基準位置に戻し、Ｙ軸シフト動作を行った上で再び水平方向の走査処理を行う処理を、Ｙ軸方向に関する基準位置（基準点Ｃ）からのＹ軸方向に関するシフト距離ｄｙが画素ピッチｈｙの（Ｇｙ−１）倍に達するまで繰り返し実行する垂直方向の走査処理と、を行う機能をもたせておくようにする。そうすれば、窓枠プレーン設定部１４０は、各走査処理を繰り返し実行しながら、フレーム画像抽出部１３０が新たな抽出画像を抽出するたびに、当該新たな抽出画像に対応する新たな窓枠プレーンを設定する処理を行うことができる。

なお、これまで述べた実施例では、フレーム画像抽出部１３０が抽出する抽出画像Ｆ（ｋ）と窓枠プレーン設定部１４０が設定する窓枠プレーンα（ｋ）との対応関係が１対１になっているが、両者の対応関係は必ずしも１対１にする必要はなく、ｎ：１（ｎは任意の自然数）に設定してもかまわない。この場合、フレーム画像抽出部１３０が抽出したｎ枚の抽出画像Ｆ（ｋ）〜Ｆ（ｋ＋ｎ−１）について、同一の窓枠プレーンαが対応づけられることになる。

また、逆に、両者の対応関係を、１：ｍ（ｍは任意の自然数）に設定してもかまわない。この場合、フレーム画像抽出部１３０が抽出した１枚の抽出画像Ｆ（ｋ）について、ｍ通りの窓枠プレーンαが対応づけられることになり、各窓枠プレーン上の窓枠図形から切り出された窓内画像について、サンプル画像Ｐ（Ｓ）との比較処理が行われることになる。ただ、実用上は、これまで述べたとおり、両者の対応関係を１対１に設定し、第ｋ番目の抽出画像Ｆ（ｋ）に対して、第ｋ番目の窓枠プレーンα（ｋ）が対応するような運用を行うのが最も効率的である。

§４で詳述したとおり、図２２に示す物体検出システムでは、１枚のフレーム画像Ｆに関する限りにおいて「空間的な間引き」が行われていることになるが、この「空間的な間引き」による検出精度の低下は、時間軸上で窓枠図形に対するシフト処理を行うことによって補填され、動画全体としてみれば、空間的な検出精度を十分に確保することが可能になる。したがって、空間的な検出精度および時間的な検出精度の双方を維持しつつ、演算処理時間を短縮することが可能になる。

＜＜＜ §６． 本発明に係る物体検出方法の基本手順 ＞＞＞
上述した§５では、本発明を物体検出システムという装置発明として把握し、その基本構成および動作を説明した。ここでは、本発明を、動画を解析して特定の物体を検出する物体検出方法という方法発明として把握し、その基本手順を述べることにする。

図２３は、本発明の基本的実施形態に係る物体検出方法の基本手順を示すブロック図である。この基本手順は、図示のとおりステップＳ１〜Ｓ８によって構成されている。これら個々の手順は、実際にはコンピュータによって実行される手順である。したがって、実用上、この物体検出方法は、専用のプログラムをインストールしたコンピュータによって実行される手順によって構成される。

まず、ステップＳ１のサンプル画像準備段階Ｓ１では、検出対象となる物体Ｍの画像を含むサンプル画像Ｐ（Ｓ）が準備される。続くステップＳ２のフレーム画像入力段階では、解析対象となる動画を構成する１枚のフレーム画像Ｆ（ｋ）が入力される。そしてステップＳ３のグリッド点定義段階では、図８に示すように、所定の配置平面上に複数のグリッド点Ｇが定義され、ステップＳ４の窓枠図形配置段階では、図９に示すように、この配置平面上のグリッド点Ｇを基準とした個々の位置に、それぞれ所定形状をもった所定サイズの窓枠図形Ｗが配置される。前掲の実施例の場合、ステップＳ１で準備されたサンプル画像Ｐ（Ｓ）と同一形状同一サイズの窓枠図形Ｗが配置されることになる。

続いて、ステップＳ５の窓内画像切出段階において、ステップＳ２で入力したフレーム画像Ｆ（ｋ）上に上記配置平面を重ね合わせ、フレーム画像Ｆ（ｋ）から１つの窓枠図形Ｗの内部の窓内画像Ｐ（Ｗ）を切り出す処理が行われる。そして、ステップＳ６の物体判定段階において、ステップＳ５で切り出された窓内画像と、ステップＳ１で準備されたサンプル画像Ｐ（Ｓ）との類否判定が行われる。この類否判定によって、両者が類似していると判定された場合には、当該フレーム画像Ｆ（ｋ）の当該窓内画像Ｐ（Ｗ）の位置に、検出対象となる物体Ｍが存在する旨の検出結果が出力される。

こうして、１つの窓枠図形Ｗについて、ステップＳ５の窓内画像切出段階とステップＳ６の物体判定段階とが行われると、ステップＳ７へ進み、ステップＳ４で配置された全窓枠図形についての処理が完了したか否かが判定される。そして、全窓枠図形についての処理が完了するまで、ステップＳ５，Ｓ６の処理が繰り返し実行される。全窓枠図形についての処理が完了すると、ステップＳ７からステップＳ８へと進むことになる。

ステップＳ８では、動画を構成する全フレーム画像について、ステップＳ２〜Ｓ７の一巡処理が完了したか否かが判定される。全フレーム画像の処理が完了するまで、ステップＳ２からの一巡処理が繰り返し実行され、全フレーム画像の処理が完了すれば、この手順は終了である。

結局、ステップＳ２のフレーム画像入力段階からステップＳ６の物体判定段階に至るまでの一巡処理が、解析対象となる動画を構成する個々のフレーム画像のそれぞれについて繰り返し実行されることになる。

しかも、ステップＳ３のグリッド点定義段階では、過去の一巡処理で定義したグリッド点Ｇを配置平面上で移動させるシフト処理を行うことにより、新たなグリッド点Ｇを定義する処理が行われ、ステップＳ４の窓枠図形配置段階では、ステップＳ３で新たに定義されたグリッド点Ｇに基づいて、新たな位置に窓枠図形Ｗの配置を行うことになる。上述した実施例の場合、第１回目の一巡処理におけるステップＳ３のグリッド点定義段階では、二次元格子の格子点として個々のグリッド点Ｇが定義され、第２回目以降の一巡処理におけるステップＳ３のグリッド点定義段階では、各グリッド点Ｇを同一シフト方向に同一シフト距離だけ移動させることによりシフト処理が行われる。

かくして、ステップＳ２〜Ｓ６の一巡処理を繰り返す際に、窓枠図形Ｗの配置が変化することになり、「空間的な間引き」による検出精度の低下を、時間軸上で窓枠図形に対するシフト処理を行うことによって補填する、という本発明に固有の作用効果が奏せられる。このように、図２３に示す手順に係る物体検出方法によれば、空間的な検出精度および時間的な検出精度の双方を維持しつつ、演算処理時間を短縮することが可能になる。

＜＜＜ §７． 固定プレーンを用いる実施形態 ＞＞＞
続いて、ここでは、これまで述べてきた基本的実施形態の変形例として、窓枠プレーンαとともに固定プレーンβを併用する実施形態を述べる。

本発明において、窓枠図形Ｗを移動させるシフト処理を行うことにより新たな窓枠プレーンαを生成し、新たなフレーム画像について、窓枠図形Ｗの位置が異なる新たな窓枠プレーンαを設定することは、「空間的な間引き」による検出精度の低下を補填する効果を得るために極めて重要な作業である。そして、これまで述べてきた基本的な実施形態では、窓枠プレーンα上の全窓枠図形Ｗをシフト処理の対象として、すべての窓枠図形Ｗに対して、同一シフト方向に同一シフト距離だけ移動させるシフト処理が行われていた。

しかしながら、物体検出を効率的に行うという観点から、敢えてシフト処理の対象から外した方が好ましい窓枠図形も存在する。それは、切り出された窓内画像についての類否判定の結果、類似しているとの判定がなされた窓枠図形、別言すれば、物体の検出がなされた窓枠図形である。

たとえば、図１(d) には、窓枠図形Ｗ３について物体Ｍの検出がなされた例が示されている。すなわち、この例の場合、窓枠図形Ｗ３から切り出された窓内画像Ｐ（Ｗ３）とサンプル画像Ｐ（Ｓ）とについての類否判定処理により、両者は類似しているとの判定がなされたことになる。ここで、物体Ｍが移動中の物体であったとしても、その速度が極めて速いものでない限り、第ｋ番目のフレーム画像Ｆ（ｋ）上の物体Ｍの位置と、第（ｋ＋１）番目のフレーム画像Ｆ（ｋ＋１）上の物体Ｍの位置との間には、大きな差は生じないと考えられる。したがって、フレーム画像Ｆ（ｋ）上の窓枠図形Ｗ３内に物体Ｍが存在していた場合、フレーム画像Ｆ（ｋ＋１）上でも、同じ位置の窓枠図形Ｗ３内に物体Ｍが存在している可能性が高い。

このような状況において、フレーム画像Ｆ（ｋ＋１）に重ね合わせる窓枠プレーンα（ｋ＋１）上で、窓枠図形Ｗ３に対するシフト処理が行われてしまうと、せっかくフレーム画像Ｆ（ｋ）上で検出されていた物体Ｍが、フレーム画像Ｆ（ｋ＋１）上では検出されないという事態が生じるおそれがある。もちろん、シフト処理は、Ｚ字状の走査に準じた循環形式で行われるため、しばらくすれば、再び同じ位置に窓枠図形が到来し、その時点で、物体Ｍの再検出を行うことが可能であるが、一度検出した物体Ｍをそのまま検出し続けるという観点からは、物体検出が行われた窓枠図形はシフト処理の対象から外し、そのまま同じ位置に維持する、という運用を行った方が好ましい。この§７で述べる実施形態は、このような着想から生まれた変形例である。

この§７で述べる実施形態では、図２４に示すように、窓枠プレーンαとともに固定プレーンβを用いる。いずれも、ＸＹ平面上に定義されたプレーンであり、たとえば、原点Ｏを共通の基準点として相互の位置が定義される。図２４(a) に示す窓枠プレーンαには、図９に示す窓枠プレーンαと同様に、５×５のマトリックス状に２５個の窓枠図形Ｗ（１，１）〜Ｗ（５，５）が配置されている。ただ、この例では、窓枠図形Ｗ（２，３）のみが、固定プレーンβの対応位置に移動させられた状態が示されている。

固定プレーンβ上の窓枠図形Ｗ（２，３）の位置は、窓枠プレーンα上の窓枠図形Ｗ（２，３）があった位置（破線で示す位置）に対応しているので、このまま窓枠プレーンαと固定プレーンβとを、共通の基準点である原点Ｏの位置が一致するように重ね合わせれば、窓枠図形Ｗ（２，３）は破線で示す位置に重なり、５×５のマトリックス状に配置された２５個の窓枠図形Ｗ（１，１）〜Ｗ（５，５）が得られることになる。実際、フレーム画像Ｆには、この２枚のプレーンα，βが重ね合わされ、両プレーンα，β上の各窓枠図形を用いて窓内画像の切り出しおよび類否判定処理が行われることになる。

ただ、窓枠プレーンα上の窓枠図形がシフト処理の対象になるのに対して、固定プレーンβ上の窓枠図形はシフト処理の対象にはならない。したがって、図２４に示す例の場合、図２４(a) に示す窓枠プレーンα上の２４個の窓枠図形に対しては、これまで述べてきた基本的実施形態と同様に、同一シフト方向に同一シフト距離だけ移動させるシフト処理が実行され、フレーム画像Ｆに対する相対位置が徐々に変わってゆくことになるが、図２４(b) に示す固定プレーンβ上の窓枠図形Ｗ（２，３）に対しては、シフト処理は行われず、フレーム画像Ｆに対する相対位置が固定された状態になる。

したがって、もし、第ｋ番目のフレーム画像Ｆ（ｋ）についての探索処理において、窓枠図形Ｗ（２，３）の位置に物体Ｍの検出が行われた場合には、図２４に示すように、当該窓枠図形Ｗ（２，３）を窓枠プレーンαから固定プレーンβへと移動させる処理を行い、窓枠図形Ｗ（２，３）のフレーム画像Ｆに対する相対位置を固定状態にするのが好ましい。

図２５は、このように、固定プレーンβを用いる実施形態の基本原理を示す斜視図である。図の上段には第ｋ番目の窓枠プレーンα（ｋ）、中段には第ｋ番目の固定プレーンβ（ｋ）、下段には第ｋ番目のフレーム画像Ｆ（ｋ）が示されている。図では、説明の便宜上、ＸＹＺ三次元座標系を定義し、三次元空間内に各プレーンが配置されている状態を示したが、実際には、フレーム画像Ｆ（ｋ）は、ＸＹ平面上の定位置に配置され、窓枠プレーンα（ｋ）および固定プレーンβ（ｋ）は、図のＺ軸負方向に平行移動され、ＸＹ平面上のフレーム画像Ｆ（ｋ）に重ね合わされることになる。

なお、図２５において、固定プレーンβ（ｋ）およびフレーム画像Ｆ（ｋ）の右端には、電気回路で用いる接地記号が記載されているが、これは固定プレーンβ（ｋ）およびフレーム画像Ｆ（ｋ）のＸＹ座標系上での位置が固定されていることを示している。すなわち、固定プレーンβ（ｋ）上の窓枠図形Ｗ（２，３）の位置は、第（ｋ＋１）番目の固定プレーンβ（ｋ＋１）上でも同位置となるように固定されており、第（ｋ＋１）番目のフレーム画像Ｆ（ｋ＋１）は、フレーム画像Ｆ（ｋ）と同じ定位置に配置される。これに対して、窓枠プレーンα（ｋ）上の各窓枠図形Ｗは、シフト処理によって、Ｘ軸方向およびＹ軸方向に移動してゆくことになるので、第（ｋ＋１）番目の窓枠プレーンα（ｋ＋１）上の各窓枠図形Ｗの位置は、図示の位置とは異なることになる。

図２５は、フレーム画像Ｆ（ｋ）上に存在する物体Ｍが、窓枠図形Ｗ（２，３）の位置において検出された状態を示している。すなわち、フレーム画像Ｆ（ｋ）から窓枠図形Ｗ（２，３）によって切り出された窓内画像Ｐ（Ｗ（２，３））とサンプル画像Ｐ（Ｓ）とを比較した結果、両画像は類似するとの判定が得られたことになる。上述したとおり、このような判定が得られた場合、窓枠図形Ｗ（２，３）を窓枠プレーンα（ｋ）から固定プレーンβ（ｋ）へと移動させる処理を行うようにする。

フレーム画像Ｆ（ｋ）が新たなフレーム画像Ｆ（ｋ＋１）に置き換えられると、窓枠プレーンα（ｋ）および固定プレーンβ（ｋ）も、それぞれ新たな窓枠プレーンα（ｋ＋１）および固定プレーンβ（ｋ＋１）に置き換えられる。ここで、窓枠プレーンα（ｋ＋１）上の各窓枠図形Ｗの位置はシフト処理によって移動しているが、固定プレーンβ（ｋ＋１）上の窓枠図形Ｗ（２，３）の位置は図示の位置のまま固定されている。

したがって、もし、フレーム画像Ｆ（ｋ＋１）上の物体Ｍの位置が、フレーム画像Ｆ（ｋ）上の物体Ｍの位置と同じであれば（あるいは、類似との判定がなされるほど近似した位置にあれば）、フレーム画像Ｆ（ｋ＋１）についても、窓枠図形Ｗ（２，３）の位置に物体検出がなされることになる。一般的な物体Ｍであれば、１／３０秒程度ではそれほど位置に変化が生じないので、フレーム画像Ｆ（ｋ）と同じ位置に検出される可能性が高い。もちろん、フレーム画像Ｆ（ｋ＋２）、Ｆ（ｋ＋３）、... についても、窓枠プレーンα（ｋ＋２）、α（ｋ＋３）、... 上の窓枠図形Ｗはシフト処理により位置が変遷してゆくが、固定プレーンβ（ｋ＋２）、β（ｋ＋３）、... 上の窓枠図形Ｗ（２，３）の位置は固定されたままであるので、物体Ｍの位置に変化が生じていなければ、窓枠図形Ｗ（２，３）の位置に物体Ｍが検出され続けることになる。

なお、固定プレーンβ上に移動させられた窓枠図形Ｗ（２，３）について、物体検出が行われなくなった場合は、もはや当該窓枠図形Ｗ（２，３）を固定プレーンβ上に配置しておく意味はないので、これを窓枠プレーンα上の所定の帰還位置に戻す処理を行うようにする。この帰還位置としては、当該窓枠図形Ｗ（２，３）について、固定プレーンβへの移動が行われなかった場合に本来あるべき位置とすればよい。

たとえば、図２５に示す例の場合、窓枠プレーンα（ｋ）上の窓枠図形Ｗ（２，３）を固定プレーンβ（ｋ）に移動すると、窓枠プレーンα（ｋ）上には、破線で示す抜け殻が残ることになるが、シフト処理を行う際に、この抜け殻についても他の窓枠図形Ｗと同様に移動させるようにし、窓枠図形Ｗ（２，３）を窓枠プレーンα上に戻す処理を行うことになった場合には、当該抜け殻の位置を帰還位置として戻すようにすればよい。

図２６(a) は、この固定プレーンを用いる実施形態において、第１番目のフレーム画像Ｆ（１）に窓枠プレーンα（１）および固定プレーンβ（１）の双方を重ね合わせた状態を示す平面図である。ここでは、この図２６(a) に示す状態において、太線で示す窓枠図形Ｗ（２，３）について、物体検出が行われた場合を考えてみよう。この場合、図２５に示すように、窓枠図形Ｗ（２，３）は、窓枠プレーンα（１）から固定プレーンβ（１）へと移されることになる。

一方、図２６(b) は、第２番目のフレーム画像Ｆ（２）に窓枠プレーンα（２）および固定プレーンβ（２）の双方を重ね合わせた状態を示す平面図である。ここで、窓枠プレーンα（２）は、窓枠プレーンα（１）上の各窓枠図形Ｗを図の右方向に１画素だけ移動させるシフト処理を行うことによって得られたプレーンであるが、固定プレーンβ（２）は固定プレーンβ（１）と全く同じプレーンになる。その結果、図に×印で示す基準点Ｃ（フレーム画像Ｆの左上隅点）の位置を基準にすると、太線で示す窓枠図形Ｗ（２，３）は定位置に固定されたままであるが、それ以外の窓枠図形Ｗは、右方向に１画素だけ移動していることになる。

前述したとおり、窓枠図形Ｗ（２，３）は、物体検出が行われ続ける限り、固定プレーンβ上に留まるので、シフト処理によって、やがて左隣りの窓枠図形Ｗ（２，２）と重なりを生じることになるが、特に処理に支障が生じることはない。但し、物体検出が行われなくなった時点で、固定プレーンβから窓枠プレーンαの帰還位置へ戻されることになる。

もちろん、複数の窓枠図形Ｗについて物体検出が行われた場合には、これら複数の窓枠図形Ｗが窓枠プレーンαから固定プレーンβへと移動させられることになり、それぞれ物体検出が行われなくなった時点で、窓枠プレーンα上の帰還位置へと戻されることになる。

このように、この§７で述べる実施形態では、あるフレーム画像において一度検出された物体Ｍが、そのまま後続するフレーム画像においても検出され続ける可能性が高くなるので、より効率的な物体検出処理が可能になる。

図２２に示す基本的実施形態に係る物体検出システムを、この§７で述べる実施形態に係る物体検出システムとして利用するには、まず、窓枠プレーン設定部１４０に、窓枠プレーンαとともに固定プレーンβを設定する機能を設けておき、これら２つのプレーンα，β間で、窓枠図形Ｗの移動が行われるようにすればよい。

具体的には、物体検出部１６０から窓枠プレーン設定部１４０に対して、類否判定の判定結果を示す信号を与えるようにし、物体検出部１６０により、窓枠プレーンα上の特定の窓枠図形Ｗの内部から切り出された窓内画像Ｐ（Ｗ）について類似しているとの判定がなされた場合には、当該特定の窓枠図形Ｗを窓枠プレーンαから固定プレーンβの対応位置に移動させる処理を行い、物体検出部１６０により、固定プレーンβ上の特定の窓枠図形Ｗの内部から切り出された窓内画像Ｐ（Ｗ）について類似していないとの判定がなされた場合には、当該特定の窓枠図形Ｗを固定プレーンβから窓枠プレーンαの帰還位置に戻す処理を行うようにすればよい。

ここで、窓枠プレーン設定部１４０は、窓枠プレーンα上の窓枠図形Ｗについては、これまで述べてきた基本的実施形態と同様のシフト処理を行うが、固定プレーンβ上の窓枠図形Ｗについてはシフト処理を行わないようにする。したがって、グリッド点Ｇに基づいて窓枠図形Ｗの配置を行う場合、窓枠プレーンα上の窓枠図形Ｗについてのグリッド点Ｇを移動対象となるグリッド点として移動させ、固定プレーンβ上の窓枠図形Ｗについてのグリッド点Ｇについては、移動させないようにすればよい。なお、窓枠図形Ｗを固定プレーンβから窓枠プレーンαへ戻す際は、前述したとおり、当該窓枠図形Ｗについて固定プレーンβへの移動が行われなかった場合に本来あるべき位置を帰還位置とすればよい。

また、窓枠プレーン設定部１４０から窓内画像切出部１５０に対しては、窓枠プレーンαとともに固定プレーンβを与えるようにし、窓内画像切出部１５０は、この窓枠プレーンαと固定プレーンβとの双方を抽出画像上に重ね合わせ、窓枠プレーンα上の窓枠図形Ｗおよび固定プレーンβ上の窓枠図形Ｗの内部の窓内画像を切り出す処理を行うようにすればよい。

一方、図２３に示す基本的実施形態に係る物体検出方法に、この§７で述べる実施形態の概念を適用するには、次のような変更を加えればよい。

まず、第ｋ回目（但し、ｋは自然数）の一巡処理における物体判定段階（ステップＳ６）で、特定の窓枠図形Ｗの内部から切り出された窓内画像Ｐ（Ｗ）について類似しているとの判定がなされた場合には、第（ｋ＋１）回目の一巡処理におけるグリッド点定義段階（ステップＳ３）において、当該特定の窓枠図形Ｗの配置基準となったグリッド点Ｇを固定状態にして、もしくは、当該グリッド点Ｇが既に固定状態にある場合には引き続き固定状態を維持して、固定状態のグリッド点Ｇについては移動を行わないようする。

また、第ｋ回目の一巡処理における物体判定段階（ステップＳ６）で、固定状態にあるグリッド点Ｇを基準として配置された窓枠図形Ｗの内部から切り出された窓内画像Ｐ（Ｗ）について類似していないとの判定がなされた場合には、第（ｋ＋１）回目の一巡処理におけるグリッド点定義段階（ステップＳ３）において、当該固定状態にあるグリッド点Ｇの固定状態を解除して、当該グリッド点Ｇがもともと固定状態になかった場合に本来あるべき位置まで移動させる処理を行うようにすればよい。

＜＜＜ §８． サンプル画像に対する変倍処理を行う実施形態 ＞＞＞
§１では、図１を参照しながら、サンプル画像Ｐ（Ｓ）に基づいて動画中から特定の物体を検出する基本的なアルゴリズムを述べた。もちろん、この基本アルゴリズムは、動画中に出現するであろう物体Ｍの大きさがある程度予測される場合には有効であり、たとえば、ベルトコンベア上を特定の向きで流れてくる特定の工業製品を物体Ｍとして検出するような用途であれば、高精度での検出が可能になる。ベルトコンベアの上方に設けた定点カメラで動画撮影を行えば、フレーム画像Ｆ上に写る物体Ｍの大きさはほぼ一定になるため、サンプル画像Ｐ（Ｓ）として、適切な大きさの物体Ｍを含む画像を用意しておけば、特に問題は生じない。

しかしながら、物体Ｍの撮影環境によっては、動画中に出現するであろう物体Ｍの大きさが変動する場合がある。このような場合、これまで述べてきた基本的実施形態に係る類否判定では、物体Ｍの検出に失敗する可能性がある。

たとえば、図２７は、サンプル画像Ｐ（Ｓ）の物体Ｍとは異なる倍率の物体Ｍ′，Ｍ''が含まれているフレーム画像Ｆについての類否判定の一例を示す図である。図２７(a) は、予め用意されたサンプル画像Ｐ（Ｓ）であり、検出対象となる物体Ｍが所定の倍率で写っている画像になっている。一方、図２７(b) は、サンプル画像Ｐ（Ｓ）に含まれている物体Ｍと同一倍率の物体Ｍが含まれているフレーム画像Ｆを示している。この場合、図示の位置に配置された窓枠図形Ｗ６を用いて切り出された窓内画像Ｐ（Ｗ６）とサンプル画像Ｐ（Ｓ）とを比較する類否判定を行えば、両者は類似するとの判定結果が得られ、物体Ｍの検出に成功する。

ところが、図２７(c) に示すように、サンプル画像Ｐ（Ｓ）に含まれている物体Ｍに対して縮小された倍率をもつ物体Ｍ′が含まれているフレーム画像Ｆの場合、図示の位置に配置された窓枠図形Ｗ７を用いて切り出された窓内画像Ｐ（Ｗ７）とサンプル画像Ｐ（Ｓ）とを比較する類否判定を行うと、両者は非類似との判定結果が得られ、物体Ｍの検出に失敗する。同様に、図２７(d) に示すように、サンプル画像Ｐ（Ｓ）に含まれている物体Ｍに対して拡大された倍率をもつ物体Ｍ''が含まれているフレーム画像Ｆの場合、図示の位置に配置された窓枠図形Ｗ８を用いて切り出された窓内画像Ｐ（Ｗ８）とサンプル画像Ｐ（Ｓ）とを比較する類否判定を行うと、両者は非類似との判定結果が得られ、やはり物体Ｍの検出に失敗する。

図２７(c) に示す窓枠図形Ｗ７や図２７(d) に示す窓枠図形Ｗ８の位置は、いずれも物体検出に適した位置であるが、用意されたサンプル画像Ｐ（Ｓ）に含まれている物体Ｍが、物体Ｍ′や物体Ｍ''の倍率と異なっているため、画像同士の類否判定において非類似との判定結果が出されてしまう結果となっている。このような検出失敗の事例は、検出対象となる物体が三次元空間内で自由に移動する環境にある場合に生じやすい。すなわち、物体が動画撮影に用いたカメラに近い位置を通過するか、遠い位置を通過するかによって、得られるフレーム画像Ｆ上に写る物体の大きさが変化してしまうことになる。

この§８で述べる実施形態は、このような問題にも対処可能な変形例を提示するものであり、その基本原理は、サンプル画像Ｐ（Ｓ）に対する変倍処理を行い、互いに倍率の異なる複数ｍ通りのサンプル画像Ｐ（Ｓ）を用意し、それぞれに対して比較を行うようにするものである。

たとえば、図２８に示すように、与えられたサンプル画像Ｐ（Ｓ）の倍率を基準となる１００％に設定し、当該サンプル画像Ｐ（Ｓ）を、便宜上、変倍サンプル画像Ｐ（Ｓ１００％）と呼ぶことにする。一方、この変倍サンプル画像Ｐ（Ｓ１００％）に対して所定倍率で縮小処理もしくは拡大処理を施して変倍サンプル画像を作成する。図２８には、倍率５０％で縮小処理を施した変倍サンプル画像Ｐ（Ｓ５０％）と、倍率２００％で拡大処理を施した変倍サンプル画像Ｐ（Ｓ２００％）とが例示されている。実際には、５０％〜２００％の間を、たとえば１０％の刻み幅で変化させて、より多数の変倍サンプル画像を用意するのが好ましい。

このように、互いに倍率の異なる複数ｍ通りの変倍サンプル画像Ｐ（Ｓ）を用意しておき、切り出された窓内画像をそれぞれの変倍サンプル画像Ｐ（Ｓ）と比較するようにすれば、図２７に示す事例のように、フレーム画像Ｆ中に含まれる検出対象物体の大きさが不確定の場合にも、高い検出精度での検出が可能になる。

図２２に示す基本的実施形態に係る物体検出システムを、この§８で述べる実施形態に係る物体検出システムとして利用するには、まず、サンプル画像入力部１８０に、入力したサンプル画像Ｐ（Ｓ）を拡大もしくは縮小する変倍処理を行うことにより、互いにサイズが異なる複数ｍ通りの変倍サンプル画像（たとえば、図２８に例示する変倍サンプル画像Ｐ（Ｓ５０％）〜Ｐ（Ｓ２００％））を用意する機能をもたせておき、サンプル画像格納部１７０には、これら複数ｍ通りの変倍サンプル画像を格納しておくようにする。

一方、窓枠プレーン設定部１４０には、窓枠図形Ｗを移動させるシフト処理を行う機能とともに、窓枠図形Ｗのサイズを拡大もしくは縮小する変倍処理を行う機能をもたせておく。そうすれば、この変倍処理により、窓枠プレーンα上の窓枠図形Ｗのサイズを複数ｍ通りの変倍サンプル画像のサイズに等しいｍ段階のサイズに変化させることができる。また、窓内画像切出部１５０は、それぞれ個々のサイズをもった窓枠図形Ｗの内部から、当該サイズをもった窓内画像Ｐ（Ｗ）を切り出すことができ、物体検出部１６０は、切り出された窓内画像Ｐ（Ｗ）と同じサイズの変倍サンプル画像Ｐ（Ｓ）を用いた類否判定を行うことができる。

図２９〜図３１には、窓枠プレーン設定部１４０が変倍処理機能を利用して、３通りのサイズをもった窓枠図形Ｗを配置することによって得られた窓枠プレーンα（５０％），α（１００％），α（２００％）が例示されている。

すなわち、図２９に示す窓枠プレーンα（５０％）は、図８に示す各グリッド点Ｇを中心として、それぞれ５０％に変倍した窓枠図形Ｗ５０（太線）を配置することにより設定された窓枠プレーンα（５０％）を示す平面図である。個々の窓枠図形Ｗ５０は、図２８に示すサンプル画像Ｐ（Ｓ５０％）と同一形状同一サイズの図形になっている。

また、図３０に示す窓枠プレーンα（１００％）は、図８に示す各グリッド点Ｇを中心として、それぞれ１００％に変倍した（実際には、等倍であるため、具体的な変倍処理は不要である）窓枠図形Ｗ１００（太線）を配置することにより設定された窓枠プレーンα（１００％）を示す平面図である。実際には、この窓枠プレーンα（１００％）は、図９に示す窓枠プレーンαと同一のものであり、個々の窓枠図形Ｗ１００は、図２８に示すサンプル画像Ｐ（Ｓ１００％）と同一形状同一サイズの図形になっている。

一方、図３１に示す窓枠プレーンα（２００％）は、図８に示す各グリッド点Ｇを中心として、それぞれ２００％に変倍した窓枠図形Ｗ２００（太線）を配置することにより設定された窓枠プレーンα（２００％）を示す平面図である。個々の窓枠図形Ｗ２００は、図２８に示すサンプル画像Ｐ（Ｓ２００％）と同一形状同一サイズの図形になっている。隣接する窓枠図形Ｗ２００は、相互に重なりを生じているが、特に支障は生じない。

以上、３通りの窓枠プレーンα（５０％），窓枠プレーンα（１００％），窓枠プレーンα（２００％）を例示したが、たとえば、５０％〜２００％の間を１０％の刻み幅で変化させて、複数ｍ通りの変倍サンプル画像を用意した場合は、窓枠プレーン設定部１４０には、個々の変倍サンプル画像に対応させて、窓枠プレーンα（５０％）,窓枠プレーンα（６０％）,窓枠プレーンα（７０％）,... ，窓枠プレーンα（１８０％）,窓枠プレーンα（１９０％）,窓枠プレーンα（２００％）という複数ｍ通りの窓枠プレーンを設定する機能をもたせておくようにする。

なお、フレーム画像Ｆと窓枠プレーンαとの対応関係は、１：ｍの関係に設定することも可能であるが、実用上は、演算時間を短縮するために、１：１の関係に設定するのが好ましい。

すなわち、１：ｍの対応関係を設定した場合は、第ｋ番目のフレーム画像Ｆ（ｋ）に対して、複数ｍ通りの窓枠プレーンα（５０％）〜窓枠プレーンα（２００％）が対応づけられるため、まず、フレーム画像Ｆ（ｋ）の上に窓枠プレーンα（５０％）を重ねて、個々の窓枠図形Ｗ５０から切り出された窓内画像Ｐ（Ｗ５０）を変倍サンプル画像Ｐ（Ｓ５０％）と比較する処理を行い、続いて、フレーム画像Ｆ（ｋ）の上に窓枠プレーンα（６０％）を重ねて、個々の窓枠図形Ｗ６０から切り出された窓内画像Ｐ（Ｗ６０）を変倍サンプル画像Ｐ（Ｓ６０％）と比較する処理を行い、... 、最後に、フレーム画像Ｆ（ｋ）の上に窓枠プレーンα（２００％）を重ねて、個々の窓枠図形Ｗ２００から切り出された窓内画像Ｐ（Ｗ２００）を変倍サンプル画像Ｐ（Ｓ２００％）と比較する処理を行うことになる。

このように、１：ｍの対応関係を設定した場合は、１枚のフレーム画像Ｆ（ｋ）に対して、複数ｍ枚の窓枠プレーンα（５０％）〜窓枠プレーンα（２００％）を重ね合わせる探索処理が行われるので、検出精度は高くなるが、１枚のフレーム画像Ｆ（ｋ）についての処理時間が長くなるという問題が生じる。

これに対して、１：１の関係に設定する場合は、窓枠プレーン設定部１４０が、窓枠プレーンα上の窓枠図形Ｗに対して、シフト処理と変倍処理との双方を行うことにより窓枠図形Ｗの位置およびサイズの双方が異なる新たな窓枠プレーンαを生成し、個々の抽出画像（フレーム画像）に応じて窓枠図形Ｗの位置およびサイズの双方が異なる窓枠プレーンαを設定するようにすればよい。

具体的には、まず、第ｋ番目のフレーム画像Ｆ（ｋ）に対しては、図２９に示すような窓枠プレーンα（５０％）を第ｋ番目の窓枠プレーンα（ｋ）として重ねて、個々の窓枠図形Ｗ５０から切り出された窓内画像Ｐ（Ｗ５０）を変倍サンプル画像Ｐ（Ｓ５０％）と比較する処理を行う。フレーム画像Ｆ（ｋ）についての探索処理は、これで完了である。

続いて、窓枠プレーン設定部１４０は、第（ｋ＋１）番目のフレーム画像Ｆ（ｋ＋１）に対応する第（ｋ＋１）番目の窓枠プレーンα（ｋ＋１）を設定する処理を行うことになるが、当該窓枠プレーンα（ｋ＋１）として、第ｋ番目の窓枠プレーンα（ｋ）（図２９に示す窓枠プレーンα（５０％））上の各窓枠図形Ｗに対して、シフト処理と変倍処理との双方を行うことにより窓枠図形Ｗの位置およびサイズの双方が異なる窓枠プレーンを生成するようにする。たとえば、図２９に示す窓枠プレーンα（５０％）を構成する各窓枠図形Ｗ５０に対して変倍処理を施し、６０％の大きさの窓枠図形Ｗ６０になるような変更を行い、かつ、これまで述べてきたシフト処理を行うことにより、個々の窓枠図形Ｗ６０を所定方向に所定距離だけ移動させることにより、第（ｋ＋１）番目の窓枠プレーンα（ｋ＋１）を設定すればよい。

結局、第（ｋ＋１）番目のフレーム画像Ｆ（ｋ＋１）に重ね合わされる第（ｋ＋１）番目の窓枠プレーンα（ｋ＋１）は、変倍サンプル画像Ｐ（Ｓ６０％）と同一形状同一サイズの窓枠図形Ｗ６０を、第ｋ番目の窓枠プレーンα（ｋ）についての各グリッド点Ｑに対してシフト処理を施した位置に配置した窓枠プレーンということになる。そこで、第（ｋ＋１）番目のフレーム画像Ｆ（ｋ＋１）に対しては、この第（ｋ＋１）番目の窓枠プレーンα（ｋ＋１）上の個々の窓枠図形Ｗ６０から切り出された窓内画像Ｐ（Ｗ６０）を変倍サンプル画像Ｐ（Ｓ６０％）と比較する処理が行われる。フレーム画像Ｆ（ｋ＋１）についての探索処理は、これで完了である。

同様に、第（ｋ＋２）番目のフレーム画像Ｆ（ｋ＋２）に重ね合わされる第（ｋ＋２）番目の窓枠プレーンα（ｋ＋２）は、変倍サンプル画像Ｐ（Ｓ７０％）と同一形状同一サイズの窓枠図形Ｗ７０を、第（ｋ＋１）番目の窓枠プレーンα（ｋ＋１）についての各グリッド点Ｑに対してシフト処理を施した位置に配置した窓枠プレーンということになる。そこで、第（ｋ＋２）番目のフレーム画像Ｆ（ｋ＋２）に対しては、この第（ｋ＋２）番目の窓枠プレーンα（ｋ＋２）上の個々の窓枠図形Ｗ７０から切り出された窓内画像Ｐ（Ｗ７０）を変倍サンプル画像Ｐ（Ｓ７０％）と比較する処理が行われる。フレーム画像Ｆ（ｋ＋２）についての探索処理は、これで完了である。

以下、同様に、新たな窓枠プレーンαを設定するたびに、配置する窓枠図形Ｗの変倍率を１０％刻みで増加させてゆき、最大値２００％に達したら、再び最小値の５０％に戻し、上述の処理を繰り返してゆけばよい。あるいは、最大値２００％に達したら、今度は、
１９０％，１８０％というように、１０％刻みで減少させてゆくようにしてもかまわない。

このように、フレーム画像Ｆと窓枠プレーンαとの対応関係を、１：１の関係に設定すると、１枚のフレーム画像Ｆに関する限りにおいて、特定の変倍率の窓枠図形Ｗを用いた探索が行われ、特定の変倍サンプル画像との比較しか行われないことになるが、個々のフレーム画像に応じて窓枠図形Ｗの位置およびサイズの双方が異なる窓枠プレーンαが設定されるようになるので、動画全体としてみれば、複数ｍ通りの大きさをもった変倍サンプル画像との比較が行われることになる。したがって、１枚のフレーム画像Ｆに関する処理時間を短時間に保ちつつ、複数ｍ通りの変倍サンプル画像との比較が可能になり、検出対象となる物体Ｍの大きさにかかわらず、高い検出精度を確保することが可能になる。

図２３に示す基本的実施形態に係る物体検出方法に、この§８で述べる実施形態の概念を適用するには、次のような変更を加えればよい。

まず、サンプル画像準備段階（ステップＳ１）では、基本となるサンプル画像Ｐ（Ｓ）を拡大もしくは縮小する変倍処理を行うことにより、互いにサイズが異なる複数ｍ通りの変倍サンプル画像を準備するようにする。そして、窓枠図形配置段階（ステップＳ４）では、窓枠図形Ｗのサイズを複数ｍ通りの変倍サンプル画像のサイズに等しいｍ段階のサイズに変化させ、一巡処理を繰り返す際に、窓枠図形Ｗの配置とともにサイズが変化するようにする。そして、物体判定段階（ステップ６）では、窓内画像Ｐ（Ｗ）と同じサイズの変倍サンプル画像を用いた類否判定を行うようにすればよい。

＜＜＜ §９． §７の実施形態と§８の実施形態との組み合わせ ＞＞＞
これまで述べてきた種々の実施形態は、相互に矛盾が生じない限り、適宜組み合わせて利用することが可能である。ここでは、その代表例として、§７で述べた固定プレーンを用いる実施形態と§８で述べたサンプル画像に対する変倍処理を行う実施形態とを組み合わせた例について簡単に説明しておく。

§７で述べた固定プレーンを用いる実施形態の特徴は、物体検出がなされた窓枠図形Ｗについては、窓枠プレーンαから固定プレーンβへと移動させ、シフト処理の対象から外すようにする、というものであるから、§８で述べたサンプル画像に対する変倍処理を行う実施形態と組み合わせても、何ら矛盾が生じることはない。ただ、両者を組み合わせる場合には、固定プレーンβへと移動させた窓枠図形Ｗについては、シフト処理の対象から外すだけでなく、変倍処理の対象からも外す、という運用を行うようにするのが好ましい。

ある変倍率（大きさ）の窓枠図形Ｗについて物体検出がなされた場合、当該物体は当該変倍率に適した大きさでフレーム画像Ｆに含まれているのであるから、後続するフレーム画像についての探索処理においても、当該窓枠図形Ｗの位置と大きさを変えない方が、物体検出の可能性が高まることになる。このような観点から、固定プレーンβへと移動させた窓枠図形Ｗについては、位置と大きさとの双方を固定するのが好ましい。したがって、窓枠プレーンα上の窓枠図形Ｗについては、シフト処理と変倍処理との双方を行うが、固定プレーンβ上の窓枠図形Ｗについては、シフト処理も変倍処理も行わないようにするのが理にかなっている。

図３２(a) は、このような組み合わせ実施形態において、第１番目のフレーム画像Ｆ（１）に窓枠プレーンα（５０％）および固定プレーンβの双方を重ね合わせた状態を示す平面図である。窓枠プレーンα（５０％）は、図２９に示すものと同じものであり、合計２５個の窓枠図形Ｗ５０がマトリックス状に配置されている。ここでは、この図３２(a) に示す状態において、太線で示す窓枠図形Ｗ５０（２，３）について、物体検出が行われた場合を考えてみよう。この場合、窓枠図形Ｗ５０（２，３）は、窓枠プレーンα（５０％）から固定プレーンβへと移されることになる。

一方、図３２(b) は、第２番目のフレーム画像Ｆ（２）に窓枠プレーンα（１００％）および固定プレーンβの双方を重ね合わせた状態を示す平面図である。ここで、窓枠プレーンα（１００％）は、図３２(a) に示す窓枠プレーンα（５０％）に対して、シフト処理と変倍処理との双方を行うことにより新たに生成された窓枠プレーンであり、図３２(a) に示す窓枠プレーンα（５０％）上の各窓枠図形Ｗ５０と、図３２(b) に示す窓枠プレーンα（１００％）上の各窓枠図形Ｗ１００とは、位置およびサイズの双方が異なっている。

まず、窓枠プレーンα（５０％）に対する変倍処理を行うことにより、窓枠プレーンα（１００％）上の各窓枠図形Ｗは、変倍率１００％に対応する窓枠図形Ｗ１００になっている（§８で述べた実施例のように、変倍率を１０％刻みで増加させる場合は、変倍率６０％に対応する窓枠図形Ｗ６０が配置されるが、ここでは、説明の便宜上、変倍率を１００％まで増加させた例を示す）。また、シフト処理を行うことにより、個々の窓枠図形Ｗ１００の配置位置を示すグリッド点Ｇは、図の右方向に１画素分だけ移動している。

もっとも、このようなシフト処理および変倍処理の対象となる窓枠図形Ｗは、図３２(a) に示す窓枠プレーンα（５０％）上の窓枠図形であり、固定プレーンβ上に移動させられた、太線で示す窓枠図形Ｗ５０（２，３）については、シフト処理も変倍処理も実行されない。別言すれば、固定プレーンβ上の窓枠図形Ｗ５０（２，３）は、基準点Ｃに対する位置に変わりはなく、大きさにも変わりはない。

したがって、図３２(b) に示すように、第２番目のフレーム画像Ｆ（２）に窓枠プレーンα（１００％）および固定プレーンβを重ね合わせた場合、太線で示す窓枠図形Ｗ５０（２，３）だけが変倍率５０％の大きさのまま同じ位置に残り、それ以外の窓枠図形Ｗは、変倍率１００％の大きさに拡大され、かつ、基準点Ｃに対する位置（中心にあるグリッド点Ｇの位置）が、右方向に１画素分だけずれることになる。なお、図３２(b) に示す破線の矩形は、窓枠図形Ｗ５０（２，３）の位置に配置した変倍率１００％の大きさの矩形図形を示している。この破線で示す矩形図形の位置を、他の矩形図形Ｗ１００の位置と比べれば、他の矩形図形Ｗ１００が右方向にシフトしていることが容易に理解できよう。

もちろん、図３２(b) に示す状態において、窓枠図形Ｗ５０（２，３）の内部から切り出された窓内画像Ｐ（Ｗ５０（２，３））は、図２８に示す変倍サンプル画像Ｐ（Ｓ５０％）と比較されることになり、他の矩形図形Ｗ１００の内部から切り出された窓内画像Ｐ（Ｗ１００）は、図２８に示す変倍サンプル画像Ｐ（Ｓ１００％）と比較されることになる。そして、窓枠図形Ｗ５０（２，３）について物体検出がなされれば、窓枠図形Ｗ５０（２，３）はそのまま固定プレーンβに残り、シフト処理も変倍処理も行われない状態で、次の第３番目のフレーム画像Ｆ（３）に重ね合わされることになる。但し、物体検出が行われなくなった時点で、固定プレーンβから窓枠プレーンαの帰還位置へ戻されることになる。

このように、固定プレーンβ上の窓枠図形Ｗについては、物体検出がなされなくなってしまった時点で、窓枠プレーンαの所定の帰還位置に戻す処理が行われるが、このとき、他の窓枠図形Ｗのサイズと合致するように、サイズの修正も行うようにするのが好ましい。すなわち、窓枠プレーンα上の帰還位置に戻される窓枠図形Ｗに対しては、固定プレーンβへの移動が行われなかった場合に本来あるべきサイズとなるようなサイズ修正を行えばよい。

結局、§７の実施形態と§８の実施形態とを組み合わせた物体検出システムの場合、窓枠プレーン設定部１４０には、窓枠プレーンαとともに固定プレーンβを設定する機能をもたせておき、物体検出部１６０により、窓枠プレーンα上の特定の窓枠図形Ｗの内部から切り出された窓内画像Ｐ（Ｗ）について類似しているとの判定がなされた場合には、当該特定の窓枠図形Ｗを窓枠プレーンαから固定プレーンβの対応位置に移動させる処理を行えばよい。一方、物体検出部１６０により、固定プレーンβ上の特定の窓枠図形Ｗの内部から切り出された窓内画像Ｐ（Ｗ）について類似していないとの判定がなされた場合には、当該特定の窓枠図形Ｗを固定プレーンβから窓枠プレーンの帰還位置に戻す処理を行えばよい。

そして、窓枠プレーンα上の窓枠図形Ｗについてはシフト処理および変倍処理の双方を行うが、固定プレーンβ上の窓枠図形Ｗについてはシフト処理も変倍処理も行わないようにする。なお、固定プレーンβから窓枠プレーンαへの帰還位置は、固定プレーンβへの移動が行われなかった場合に本来あるべき位置とし、当該帰還位置に戻される窓枠図形Ｗに対しては、固定プレーンβへの移動が行われなかった場合に本来あるべきサイズとなるようなサイズ修正を行うようにする。

もちろん、窓内画像切出部１５０は、窓枠プレーンαと固定プレーンβとの双方を抽出画像Ｆ（ｋ）上に重ね合わせ、窓枠プレーンα上の窓枠図形Ｗおよび固定プレーンβ上の窓枠図形Ｗの内部の窓内画像Ｐ（Ｗ）それぞれを切り出す処理を行うことになる。

以上述べた組み合わせ実施形態を、図２３に示す基本的実施形態に係る物体検出方法に適用するには、次のような変更を加えればよい。

まず、サンプル画像準備段階（ステップＳ１）では、基本となるサンプル画像Ｐ（Ｓ）を拡大もしくは縮小する変倍処理を行うことにより、互いにサイズが異なる複数ｍ通りの変倍サンプル画像を準備する。そして、第ｋ回目（但し、ｋは自然数）の一巡処理における物体判定段階（ステップＳ６）において、特定の窓枠図形Ｗの内部から切り出された窓内画像Ｐ（Ｗ）について類似しているとの判定がなされた場合には、第（ｋ＋１）回目の一巡処理におけるグリッド点定義段階（ステップＳ３）で、当該特定の窓枠図形Ｗの配置基準となったグリッド点Ｇを固定状態にして、もしくは、当該グリッド点Ｇが既に固定状態にある場合には引き続き固定状態を維持して、固定状態のグリッド点Ｇについては移動を行わないようにする。

また、第ｋ回目の一巡処理における物体判定段階（ステップＳ５）において、固定状態にあるグリッド点Ｇを基準として配置された窓枠図形Ｗの内部から切り出された窓内画像Ｐ（Ｗ）について類似していないとの判定がなされた場合には、第（ｋ＋１）回目の一巡処理におけるグリッド点定義段階（ステップＳ３）で、当該固定状態にあるグリッド点Ｇの固定状態を解除して、当該グリッド点Ｇがもともと固定状態になかった場合に本来あるべき位置まで移動させる。

そして、窓枠図形配置段階（ステップＳ４）では、固定状態にあるグリッド点Ｇを基準として配置する窓枠図形Ｗについては、当該グリッド点Ｇの固定直前における窓枠図形Ｗのサイズを固定サイズとし、固定状態にないグリッド点Ｇを基準として配置する窓枠図形Ｗについては、そのサイズを複数ｍ通りの変倍サンプル画像のサイズに等しいｍ段階のサイズに変化させ、一巡処理を繰り返す際に、窓枠図形Ｗの配置とともにサイズが変化するようにする。もちろん、物体判定段階（ステップＳ６）では、窓内画像Ｐ（Ｗ）と同じサイズの変倍サンプル画像を用いた類否判定が行われる。

＜＜＜ §１０． 監視システムへの応用例 ＞＞＞
最後に、本発明に係る物体検出システムに、動画撮影を行う監視カメラを付加することにより、監視システムを構成した応用例を述べておく。図３３は、このような監視システムへの応用例を示す側面図である。

この例では、敷地２１０上が撮影視野となるように、建物２２０の屋上付近に監視カメラ２３０が取り付けられている。監視カメラ２３０としては、監視エリア内を撮影した動画をデータとして取り込む機能を有する一般的なデジタルカメラであれば、どのようなカメラを用いてもかまわない。監視カメラ２３０が撮影した動画を構成する個々のフレーム画像は、リアルタイムで図２２に示す物体検出システムのフレーム画像入力部１１０に与えられる。この物体検出システムは、既に述べたとおり、与えられたフレーム画像に基づく物体検出の処理をリアルタイムで実行する機能を有しており、監視カメラ２３０の撮影視野内の物体をリアルタイムで検出することができる。

なお、図示の例のように、建物２２０の屋上付近に設置した監視カメラ２３０から、敷地２１０内が撮影視野となるような撮影を行うと、撮影視野は図に一点鎖線で示すように広がることになる。したがって、敷地２１０上に矩形領域を定義したとしても、当該矩形領域は、撮影画像上、図３４に示すような台形状の領域になる。このような場合、窓枠図形Ｗを配置する基準点として機能するグリッド点Ｇは、図８に示すような正則格子状の格子点として定義する代わりに、図３４に示すように、奥へゆくほど格子間隔が狭くなるような台形格子状の格子点として定義するのが好ましい。

また、各格子点に配置する窓枠図形Ｗのサイズに関しては、§８で述べたように、変倍処理を行う実施形態を採用するのが好ましい。これは、遠近法により、フレーム画像上の奥に位置する物体ほどサイズが小さく、手前に位置する物体ほどサイズが大きく写ると考えられるからである。

このように、図８では、Ｘ軸方向ピッチＧｘ、Ｙ軸方向ピッチＧｙで二次元マトリックス状に配列されたグリッド点Ｇを定義する例を述べたが、本発明を実施するにあたって、グリッド点Ｇの配置（すなわち、窓枠図形Ｗの配置）は、必ずしも二次元マトリックス状にする必要はない。

１１０：フレーム画像入力部
１２０：フレーム画像格納部
１３０：フレーム画像抽出部
１４０：窓枠プレーン設定部
１５０：窓内画像切出部
１６０：物体検出部
１７０：サンプル画像格納部
１８０：サンプル画像入力部
２１０：敷地
２２０：建物
２３０：監視カメラ
Ａ（Ｗ（２，２））：窓枠図形Ｗ（２，２）による走査領域
Ａ（Ｗ（２，３））：窓枠図形Ｗ（２，３）による走査領域
Ａ（Ｗ（３，２））：窓枠図形Ｗ（３，２）による走査領域
Ａｓ（ｉ）：サンプル画像Ｐ（Ｓ）の第ｉ番目の領域
Ａｗ（ｉ）：窓内画像Ｐ（Ｗ）の第ｉ番目の領域
Ｂｓ（ｉ）：画素Ｈｓ（ｉ）の原色Ｂの画素値
Ｂｓ′（ｉ）：領域Ａｓ（ｉ）内の原色Ｂの平均画素値
Ｂｗ（ｉ）：画素Ｈｗ（ｉ）の原色Ｂの画素値
Ｂｗ′（ｉ）：領域Ａｓ（ｉ）内の原色Ｂの平均画素値
Ｃ：フレーム画像Ｆの基準点（左上隅点）
Ｄth：画素値の差に関する閾値
Ｄth１：領域ごとの平均画素値の差に関する閾値
Ｄth２：部分合致した領域数に関する閾値
ｄｘ：Ｘ軸方向のシフト距離
ｄｙ：Ｙ軸方向のシフト距離
Ｅ（１）〜Ｅ（６）：処理プロセス
ＥＥ（１），ＥＥ（５）：処理プロセス
Ｆ，Ｆ（１）〜Ｆ（Ｇｙ・Ｇｘ）：フレーム画像
Ｇ（１，１）〜Ｇ（５，５），Ｇ（ｉ，ｊ）：グリッド点
Ｇｓ（ｉ）：画素Ｈｓ（ｉ）の原色Ｇの画素値
Ｇｓ′（ｉ）：領域Ａｓ（ｉ）内の原色Ｇの平均画素値
Ｇｗ（ｉ）：画素Ｈｗ（ｉ）の原色Ｇの画素値
Ｇｗ′（ｉ）：領域Ａｓ（ｉ）内の原色Ｇの平均画素値
Ｇｘ：グリッド点のＸ軸方向ピッチ
Ｇｙ：グリッド点のＹ軸方向ピッチ
Ｈ，Ｈ（１，１）〜Ｈ（３，１）：フレーム画像Ｆ上の画素
Ｈｓ（ｉ）：サンプル画像Ｐ（Ｓ）の第ｉ番目の画素
Ｈｗ（ｉ）：窓内画像Ｐ（Ｗ）の第ｉ番目の画素
ｈｘ：画素Ｈの横寸法（横方向の長さの基本単位）
ｈｙ：画素Ｈの縦寸法（縦方向の長さの基本単位）
Ｌｘ：重複領域の横幅
Ｌｙ：重複領域の縦幅
Ｍ，Ｍ′，Ｍ''：物体
Ｏ：座標系の原点
Ｐ（Ｓ）：サンプル画像
Ｐ（Ｓ５０％），Ｐ（Ｓ１００％），Ｐ（Ｓ２００％）：変倍サンプル画像
Ｐ（Ｗ），Ｐ（Ｗ１）〜Ｐ（Ｗ８）：窓内画像
Ｐ（Ｗ（２，２）），Ｐ（Ｗ（２，３）），Ｐ（Ｗ（３，２）），：窓内画像
Ｑ１〜Ｑ５：窓枠基準点
Ｒｓ（ｉ）：画素Ｈｓ（ｉ）の原色Ｒの画素値
Ｒｓ′（ｉ）：領域Ａｓ（ｉ）内の原色Ｒの平均画素値
Ｒｗ（ｉ）：画素Ｈｗ（ｉ）の原色Ｒの画素値
Ｒｗ′（ｉ）：領域Ａｗ（ｉ）内の原色Ｒの平均画素値
Ｓ１〜Ｓ８：流れ図の各ステップ
Ｓｘ：窓枠図形Ｗの横幅
Ｓｙ：窓枠図形Ｗの縦幅
ｔ１〜ｔ７：時間軸上の時刻
Ｗ１〜Ｗ８：窓枠図形
Ｗ（１，１）〜Ｗ（５，５），Ｗ（ｉ，ｊ）：窓枠図形
Ｗ５０，Ｗ１００，Ｗ２００：変倍窓枠図形
Ｗ５０（２，２），Ｗ５０（２，３），Ｗ５０（２，４）：変倍窓枠図形
Ｗ１００（２，２），Ｗ１００（２，４）：変倍窓枠図形
Ｘ：二次元座標系の座標軸
Ｙ：二次元座標系の座標軸
α，α（１）〜α（Ｇｙ・Ｇｘ）：窓枠プレーン
α（５０％），α（１００％），α（２００％）：変倍窓枠プレーン
β：固定プレーン
ΔＢ（ｉ）：第ｉ番目の画素同士の原色Ｂの画素値の差
ΔＢ′（ｉ）：第ｉ番目の領域同士の原色Ｂの平均画素値の差
ΔＧ（ｉ）：第ｉ番目の画素同士の原色Ｇの画素値の差
ΔＧ′（ｉ）：第ｉ番目の領域同士の原色Ｇの平均画素値の差
ΔＲ（ｉ）：第ｉ番目の画素同士の原色Ｒの画素値の差
ΔＲ′（ｉ）：第ｉ番目の領域同士の原色Ｒの平均画素値の差

Claims (23)

1. 動画を解析して特定の物体を検出する物体検出システムであって、
   解析対象となる動画を時系列で与えられる複数のフレーム画像として入力するフレーム画像入力部と、
   入力されたフレーム画像を格納するフレーム画像格納部と、
   前記フレーム画像格納部に格納されているフレーム画像を、それぞれ抽出画像として順次抽出するフレーム画像抽出部と、
   配置平面上の所定位置に複数の窓枠図形を配置した窓枠プレーンを、個々の抽出画像に対応づけて設定する窓枠プレーン設定部と、
   検出対象となる物体の画像を含むサンプル画像を入力するサンプル画像入力部と、
   入力されたサンプル画像を格納するサンプル画像格納部と、
   前記フレーム画像抽出部によって抽出された抽出画像上に、前記窓枠プレーン設定部によって設定された対応する窓枠プレーンを、所定の位置基準に基づいて重ね合わせ、前記抽出画像から個々の窓枠図形の内部の窓内画像を切り出す窓内画像切出部と、
   前記窓内画像切出部によって切り出された窓内画像と前記サンプル画像格納部に格納されているサンプル画像との類否判定を行い、両者が類似していると判定された場合に、当該窓内画像の切り出し対象となったフレーム画像上の、当該窓内画像の位置に、検出対象となる物体が存在する旨の検出結果を出力する物体検出部と、
   を備え、
   前記窓枠プレーン設定部が、配置平面上で窓枠図形を移動させるシフト処理を行うことにより新たな窓枠プレーンを生成し、抽出画像によって窓枠図形の位置が異なる窓枠プレーンを設定することを特徴とする物体検出システム。
2. 請求項１に記載の物体検出システムにおいて、
   窓枠プレーン設定部が、サンプル画像格納部に格納されているサンプル画像と同一形状同一サイズの窓枠図形を配置した窓枠プレーンを設定することを特徴とする物体検出システム。
3. 請求項２に記載の物体検出システムにおいて、
   物体検出部が、窓内画像とサンプル画像とについて、互いに対応位置にある画素の画素値を比較する処理を行い、画素値の差が所定の基準以下である場合に両者が類似している旨の判定を行うことを特徴とする物体検出システム。
4. 請求項２に記載の物体検出システムにおいて、
   物体検出部が、窓内画像およびサンプル画像を、それぞれ共通する分割態様で複数の部分領域に分割する処理を行い、個々の部分領域ごとにそれぞれ構成画素の平均画素値を求め、互いに対応位置にある部分領域についての平均画素値を比較する処理を行い、平均画素値の差が所定の基準以下である部分領域の割合が所定の基準以上である場合に両者が類似している旨の判定を行うことを特徴とする物体検出システム。
5. 請求項１〜４のいずれかに記載の物体検出システムにおいて、
   窓枠プレーン設定部が、配置平面上に分散配置された複数のグリッド点を定義し、個々のグリッド点を基準とした所定位置に、それぞれ所定形状をもった所定サイズの図形を配置することにより窓枠図形の配置を行い、前記グリッド点を移動させることによりシフト処理を行うことを特徴とする物体検出システム。
6. 請求項５に記載の物体検出システムにおいて、
   窓枠プレーン設定部が、二次元格子の格子点として個々のグリッド点を定義し、移動対象となる各グリッド点を同一シフト方向に同一シフト距離だけ移動させることによりシフト処理を行うことを特徴とする物体検出システム。
7. 請求項６に記載の物体検出システムにおいて、
   窓枠プレーン設定部が、二次元ＸＹ座標系のＸ軸およびＹ軸に沿って配置されたグリッド点を定義し、Ｘ軸方向への単位移動距離としてサンプル画像のＸ軸方向画素ピッチｈｘを設定し、Ｙ軸方向への単位移動距離としてサンプル画像のＹ軸方向画素ピッチｈｙを設定し、各グリッド点のＸ軸方向のシフト距離を前記画素ピッチｈｘの整数倍に設定し、各グリッド点のＹ軸方向のシフト距離を前記画素ピッチｈｙの整数倍に設定することを特徴とする物体検出システム。
8. 請求項７に記載の物体検出システムにおいて、
   窓枠プレーン設定部が、グリッド点のＸ軸方向ピッチを画素ピッチｈｘの整数Ｇｘ倍に設定し、グリッド点のＹ軸方向ピッチを画素ピッチｈｙの整数Ｇｙ倍に設定し、Ｘ軸方向に関するシフト範囲を画素ピッチｈｘの（Ｇｘ−１）倍、Ｙ軸方向に関するシフト範囲を画素ピッチｈｙの（Ｇｙ−１）倍に設定して、各グリッド点を前記各シフト範囲内でシフトさせることによりシフト処理を行うことを特徴とする物体検出システム。
9. 請求項８に記載の物体検出システムにおいて、
   窓枠プレーン設定部が、グリッド点をＸ軸方向に画素ピッチｈｘだけ移動させるＸ軸シフト動作と、グリッド点をＹ軸方向に画素ピッチｈｙだけ移動させるＹ軸シフト動作と、を行う機能を有し、更に、グリッド点を、Ｘ軸方向に関する基準位置からのＸ軸方向に関するシフト距離が画素ピッチｈｘの（Ｇｘ−１）倍に達するまで前記Ｘ軸シフト動作を繰り返し実行する水平方向の走査処理と、この水平方向の走査処理完了後に、グリッド点のＸ軸方向に関する位置を前記Ｘ軸方向に関する基準位置に戻し、前記Ｙ軸シフト動作を行った上で再び前記水平方向の走査処理を行う処理を、Ｙ軸方向に関する基準位置からのＹ軸方向に関するシフト距離が画素ピッチｈｙの（Ｇｙ−１）倍に達するまで繰り返し実行する垂直方向の走査処理と、を行う機能を有し、前記水平方向の走査処理および前記垂直方向の走査処理を繰り返し実行しながら、フレーム画像抽出部が新たな抽出画像を抽出するたびに、当該抽出画像に対応する新たな窓枠プレーンを設定する処理を行うことを特徴とする物体検出システム。
10. 請求項１〜９のいずれかに記載の物体検出システムにおいて、
    フレーム画像抽出部が、フレーム画像格納部に格納されている連続したフレーム画像を時系列の順に従って、１枚ずつ連続的に、もしくは、所定のフレーム間隔をおいて周期的に抽出することを特徴とする物体検出システム。
11. 請求項１〜１０のいずれかに記載の物体検出システムにおいて、
    窓枠プレーン設定部が、窓枠プレーンとともに固定プレーンを設定する機能を有し、物体検出部により、前記窓枠プレーン上の特定の窓枠図形の内部から切り出された窓内画像について類似しているとの判定がなされた場合には、当該特定の窓枠図形を前記窓枠プレーンから前記固定プレーンの対応位置に移動させる処理を行い、物体検出部により、前記固定プレーン上の特定の窓枠図形の内部から切り出された窓内画像について類似していないとの判定がなされた場合には、当該特定の窓枠図形を前記固定プレーンから前記窓枠プレーンの帰還位置に戻す処理を行い、前記窓枠プレーン上の窓枠図形についてはシフト処理を行うが、前記固定プレーン上の窓枠図形についてはシフト処理を行わないようにし、前記帰還位置を、固定プレーンへの移動が行われなかった場合に本来あるべき位置とし、
    窓内画像切出部が、前記窓枠プレーンと前記固定プレーンとの双方を抽出画像上に重ね合わせ、前記窓枠プレーン上の窓枠図形および前記固定プレーン上の窓枠図形の内部の窓内画像を切り出すことを特徴とする物体検出システム。
12. 請求項１〜１０のいずれかに記載の物体検出システムにおいて、
    サンプル画像入力部が、入力したサンプル画像を拡大もしくは縮小する変倍処理を行うことにより、互いにサイズが異なる複数ｍ通りの変倍サンプル画像を用意し、
    サンプル画像格納部が、前記複数ｍ通りの変倍サンプル画像を格納し、
    窓枠プレーン設定部が、窓枠図形を移動させるシフト処理を行う機能とともに、窓枠図形のサイズを拡大もしくは縮小する変倍処理を行う機能を有し、この変倍処理により、窓枠プレーン上の窓枠図形のサイズを前記複数ｍ通りの変倍サンプル画像のサイズに等しいｍ段階のサイズに変化させ、
    窓内画像切出部が、それぞれ個々のサイズをもった窓枠図形の内部から、当該サイズをもった窓内画像を切り出し、
    物体検出部が、切り出された窓内画像と同じサイズの変倍サンプル画像を用いた類否判定を行うことを特徴とする物体検出システム。
13. 請求項１２に記載の物体検出システムにおいて、
    窓枠プレーン設定部が、窓枠プレーン上の窓枠図形に対して、シフト処理と変倍処理との双方を行うことにより窓枠図形の位置およびサイズの双方が異なる新たな窓枠プレーンを生成し、個々の抽出画像に応じて窓枠図形の位置およびサイズの双方が異なる窓枠プレーンを設定することを特徴とする物体検出システム。
14. 請求項１３に記載の物体検出システムにおいて、
    窓枠プレーン設定部が、窓枠プレーンとともに固定プレーンを設定する機能を有し、物体検出部により、前記窓枠プレーン上の特定の窓枠図形の内部から切り出された窓内画像について類似しているとの判定がなされた場合には、当該特定の窓枠図形を前記窓枠プレーンから前記固定プレーンの対応位置に移動させる処理を行い、物体検出部により、前記固定プレーン上の特定の窓枠図形の内部から切り出された窓内画像について類似していないとの判定がなされた場合には、当該特定の窓枠図形を前記固定プレーンから前記窓枠プレーンの帰還位置に戻す処理を行い、前記窓枠プレーン上の窓枠図形についてはシフト処理および変倍処理を行うが、前記固定プレーン上の窓枠図形についてはシフト処理も変倍処理も行わないようにし、前記帰還位置を、固定プレーンへの移動が行われなかった場合に本来あるべき位置とし、前記帰還位置に戻される窓枠図形に対しては、固定プレーンへの移動が行われなかった場合に本来あるべきサイズとなるようなサイズ修正を行い、
    窓内画像切出部が、前記窓枠プレーンと前記固定プレーンとの双方を抽出画像上に重ね合わせ、前記窓枠プレーン上の窓枠図形および前記固定プレーン上の窓枠図形の内部の窓内画像を切り出すことを特徴とする物体検出システム。
15. 請求項１〜１４のいずれかに記載の物体検出システムとしてコンピュータを機能させるプログラム。
16. 請求項１〜１４のいずれかに記載の物体検出システムと、動画撮影を行う監視カメラと、を備えた監視システムであって、
    前記監視カメラが撮影した動画を構成する個々のフレーム画像をリアルタイムで前記物体検出システムに与え、
    前記物体検出システムが、与えられたフレーム画像に基づく物体検出の処理をリアルタイムで実行し、
    前記監視カメラの撮影視野内の物体をリアルタイムで検出することを特徴とする監視システム。
17. 動画を解析して特定の物体を検出する物体検出方法であって、
    コンピュータが、検出対象となる物体の画像を含むサンプル画像を準備するサンプル画像準備段階と、
    コンピュータが、解析対象となる動画を構成する１枚のフレーム画像を入力するフレーム画像入力段階と、
    コンピュータが、所定の配置平面上に複数のグリッド点を定義するグリッド点定義段階と、
    コンピュータが、前記配置平面上の前記グリッド点を基準とした個々の位置に、それぞれ所定形状をもった所定サイズの窓枠図形を配置する窓枠図形配置段階と、
    コンピュータが、前記フレーム画像上に前記配置平面を重ね合わせ、前記フレーム画像から個々の窓枠図形の内部の窓内画像をそれぞれ切り出す窓内画像切出段階と、
    コンピュータが、前記窓内画像と前記サンプル画像との類否判定を行い、両者が類似していると判定された場合に、前記フレーム画像の当該窓内画像の位置に、検出対象となる物体が存在する旨の検出結果を出力する物体判定段階と、
    を有し、
    前記フレーム画像入力段階から前記物体判定段階に至るまでの一巡処理を、解析対象となる動画を構成する個々のフレーム画像のそれぞれについて繰り返し実行し、
    前記グリッド点定義段階で、過去の一巡処理で定義したグリッド点の全部もしくは一部を前記配置平面上で移動させるシフト処理を行うことにより、新たなグリッド点を定義する処理を行い、
    前記窓枠図形配置段階で、新たに定義されたグリッド点に基づいて、新たな位置に窓枠図形の配置を行い、一巡処理を繰り返す際に、窓枠図形の配置が変化するようにすることを特徴とする物体検出方法。
18. 請求項１７に記載の物体検出システムにおいて、
    第１回目の一巡処理におけるグリッド点定義段階で、二次元格子の格子点として個々のグリッド点を定義し、
    第２回目以降の一巡処理におけるグリッド点定義段階で、移動対象となる各グリッド点を同一シフト方向に同一シフト距離だけ移動させることによりシフト処理を行うことを特徴とする物体検出方法。
19. 請求項１８に記載の物体検出方法において、
    窓枠図形配置段階で、サンプル画像と同一形状同一サイズの窓枠図形を配置することを特徴とする物体検出方法。
20. 請求項１９に記載の物体検出方法において、
    第ｋ回目（但し、ｋは自然数）の一巡処理における物体判定段階で、特定の窓枠図形の内部から切り出された窓内画像について類似しているとの判定がなされた場合には、第（ｋ＋１）回目の一巡処理におけるグリッド点定義段階では、当該特定の窓枠図形の配置基準となったグリッド点を固定状態にして、もしくは、当該グリッド点が既に固定状態にある場合には引き続き固定状態を維持して、固定状態のグリッド点については移動を行わないようにし、
    第ｋ回目の一巡処理における物体判定段階で、固定状態にあるグリッド点を基準として配置された窓枠図形の内部から切り出された窓内画像について類似していないとの判定がなされた場合には、第（ｋ＋１）回目の一巡処理におけるグリッド点定義段階では、当該固定状態にあるグリッド点の固定状態を解除して、当該グリッド点がもともと固定状態になかった場合に本来あるべき位置まで移動させることを特徴とする物体検出方法。
21. 請求項１９に記載の物体検出システムにおいて、
    サンプル画像準備段階で、基本となるサンプル画像を拡大もしくは縮小する変倍処理を行うことにより、互いにサイズが異なる複数ｍ通りの変倍サンプル画像を準備し、
    窓枠図形配置段階で、窓枠図形のサイズを前記複数ｍ通りの変倍サンプル画像のサイズに等しいｍ段階のサイズに変化させ、一巡処理を繰り返す際に、窓枠図形の配置とともにサイズが変化するようにし、
    物体判定段階で、窓内画像と同じサイズの変倍サンプル画像を用いた類否判定を行うことを特徴とする物体検出方法。
22. 請求項１９に記載の物体検出方法において、
    サンプル画像準備段階で、基本となるサンプル画像を拡大もしくは縮小する変倍処理を行うことにより、互いにサイズが異なる複数ｍ通りの変倍サンプル画像を準備し、
    第ｋ回目（但し、ｋは自然数）の一巡処理における物体判定段階で、特定の窓枠図形の内部から切り出された窓内画像について類似しているとの判定がなされた場合には、第（ｋ＋１）回目の一巡処理におけるグリッド点定義段階では、当該特定の窓枠図形の配置基準となったグリッド点を固定状態にして、もしくは、当該グリッド点が既に固定状態にある場合には引き続き固定状態を維持して、固定状態のグリッド点については移動を行わないようにし、
    第ｋ回目の一巡処理における物体判定段階で、固定状態にあるグリッド点を基準として配置された窓枠図形の内部から切り出された窓内画像について類似していないとの判定がなされた場合には、第（ｋ＋１）回目の一巡処理におけるグリッド点定義段階では、当該固定状態にあるグリッド点の固定状態を解除して、当該グリッド点がもともと固定状態になかった場合に本来あるべき位置まで移動させ、
    窓枠図形配置段階で、固定状態にあるグリッド点を基準として配置する窓枠図形については、当該グリッド点の固定直前における窓枠図形のサイズを固定サイズとし、固定状態にないグリッド点を基準として配置する窓枠図形については、そのサイズを前記複数ｍ通りの変倍サンプル画像のサイズに等しいｍ段階のサイズに変化させ、一巡処理を繰り返す際に、窓枠図形の配置とともにサイズが変化するようにし、
    物体判定段階で、窓内画像と同じサイズの変倍サンプル画像を用いた類否判定を行うことを特徴とする物体検出方法。
23. 請求項１７〜２２のいずれかに記載の物体検出方法をコンピュータに実行させるプログラム。