JP5394967B2

JP5394967B2 - 対象物検知装置

Info

Publication number: JP5394967B2
Application number: JP2010076218A
Authority: JP
Inventors: 秀紀氏家
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2010-03-29
Filing date: 2010-03-29
Publication date: 2014-01-22
Anticipated expiration: 2030-03-29
Also published as: JP2011209951A

Description

本発明は、入力画像中に撮像されている対象物を検知する対象物検知装置に関する。

近年、監視カメラの画像やデジタルスチルカメラの画像から人や顔などの存在を検知する研究が盛んに行われている。検知処理には、パターンマッチング装置や識別器による探索的手法が用いられる。すなわち、画像内の各所に窓を設定して各窓画像をパターンマッチング装置や識別器に入力し、これらが出力する検出結果を集計して集計値が高い位置に対象物を検知する。

画像の対象物はその全体が撮像されているとは限らず、対象物の一部が他の物体に隠蔽されている場合もある。隠蔽に対応するために、従来、対象物を複数の部分に分けて各部分を検出し、それら部分の検出結果を統合・集計していた。

特許文献１に記載の発明では比較的小さく分けた部分を検出し、検出結果を統合していた。また対象物である人を頭・胴・脚というように比較的大きく分けて各部分を検出し、検出結果を統合する試みもなされている。

特開平９−２１６１０号公報

対象物を複数の部分（部位）に分けて検出する場合、検出対象とする部位の大きさと隠蔽の受けやすさとの相関に起因して、部位の検出効率と検出結果の信頼性との間にはトレードオフの関係がある。

すなわち、部位の大きさを大きくした場合、当該部位が検出できた場合には検出結果の信頼性が高いが、当該部位が隠蔽を受け易くなるため検出漏れが生じる可能性が高くなるという問題がある。また隠蔽の状況は多様であり、隠れている箇所を予測して回避することは困難である。

逆に、部位の大きさを小さくした場合には、隠蔽を受けにくくなるため当該部位の検出漏れは減るが、マッチング等に用いる情報が少なくなる分、当該部位以外の像との間で偶発的に検出が成立する誤検出の可能性が高くなり、検出結果の信頼性が低くなるという問題がある。

しかしながら、従来技術においては上述のトレードオフを考慮せず、部位の検出結果を部位の大きさによらず統合していた。そのため、部位が大きすぎるために対象物を検知し損ねたり、部位が小さすぎるために非対象物を誤検知したりすることが多かった。

本発明は上記問題点を解決するためになされたものであり、多様な隠蔽状態においても検出漏れが少なく、かつ信頼性の高い対象物検知が可能な対象物検知装置を提供することを目的とする。

本発明に係る対象物検知装置は、入力画像中に撮像されている対象物を検知するものであって、前記対象物の標本画像内に設定された、大きさ及び位置の少なくとも一方が互いに異なる複数の部位と、前記部位間の位置関係とを予め記憶している記憶部と、前記標本画像が示す前記各部位の特徴を検出する検出器と、前記入力画像を前記各部位の前記検出器にて走査し、前記各部位の特徴が検出された前記入力画像内の検出位置を当該部位と対応付けた検出情報を生成する部位検出部と、前記検出位置が前記位置関係を略満たす前記検出情報同士をグループ化し、前記検出情報と対応する前記部位の大きさの総和を前記グループごとに求め、予め設定された閾値を超える前記総和が求められたときに前記対象物を検知する統合判定部と、を有する。

他の本発明に係る対象物検知装置においては、前記複数の部位が、互いの領域重複を許容して設定され、前記統合判定部が、前記グループごとに、前記検出情報と対応する前記部位を前記位置関係にて配置し、当該配置された部位の和領域の面積を前記総和として求める。

本発明の他の好適な態様においては、前記部位検出部が、予め設定された複数の倍率で前記部位又は前記入力画像を拡大又は縮小して前記走査処理を行って当該倍率を含めた前記検出情報を生成し、前記統合判定部が、前記倍率が近接する前記検出情報同士を前記グループ化する。

さらに他の本発明に係る対象物検知装置においては、前記複数の部位が、互いに前記大きさが異なる一方の部位が他方の部位を包含すること以外の領域重複を禁止して設定され、前記統合判定部が、前記各グループにおいて、前記部位ごとに前記検出情報を１つに集約し、前記集約された前記部位のうち当該集約された他の部位のいずれにも包含されない部位の前記大きさ同士を加算して前記総和を求める。

本発明の他の好適な態様においては、前記部分検出部が、前記大きさが大きな前記部位から順番に前記走査を行い、前記順番が下位である部位の前記走査は当該部位を包含する前記部位の前記検出位置と前記位置関係にない前記入力画像内の位置にて行う。

本発明によれば、多様な隠蔽状態においても検出漏れが少なく、かつ信頼性の高い対象物検知が可能となる。

本発明の実施形態に係る画像監視装置の概略のブロック構成図である。対象物の標本画像の一例を示す模式図である。相対位置ベクトルを説明する模式図である。第１の実施形態における部位情報の具体例を模式的に示す説明図である。部位検出処理の例を説明する模式図である。統合判定処理の例を説明する模式図である。第１の実施形態における統合判定処理の投票画像の例を説明する模式図である。本発明の実施形態における画像監視処理の概略のフロー図である。第１の実施形態における部位検出処理の概略のフロー図である。第１の実施形態における統合判定処理の概略のフロー図である。第２の実施形態における部位領域情報の具体例を模式的に示す説明図である。第２の実施形態における部位検出処理の概略のフロー図である。第２の実施形態における統合判定処理の概略のフロー図である。

以下、本発明の実施の形態（以下実施形態という）である画像監視装置１について、図面に基づいて説明する。画像監視装置１は、監視空間から得られた監視画像において、検知対象物（以下、対象物）である人間の特徴を有する領域を抽出することで侵入者を検知する。侵入者を検知すると画像監視装置１は異常信号を出力する。

［第１の実施形態］
図１は、本発明の実施形態に係る画像監視装置１の概略のブロック構成図である。画像監視装置１は、画像入力部２、記憶部３、画像処理部４及び出力部５を含んで構成される。画像入力部２、記憶部３及び出力部５は画像処理部４と接続される。

画像入力部２は、監視カメラであり、監視空間内に設置される。例えば、監視カメラは監視空間の天井部に監視空間を俯瞰して設置される。当該監視カメラは、監視空間を所定の時間間隔で撮影し、各画素が多階調の画素値で表現される監視画像を順次、画像処理部４へ出力する。以下、画像入力部２にて取得され画像処理部４に入力される画像を入力画像と称する。

記憶部３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等の記憶装置であり、画像処理部４で使用されるプログラムやデータを記憶する。記憶部３はこれらプログラム、データを画像処理部４との間で入出力する。記憶部３に記憶されるデータには部位情報３０、部位検出器３１、部位検出情報３２が含まれる。

部位は対象物の一部であり、複数の部位が対象物の互いに異なる一部として設定される。部位の画像情報は、対象物が撮像されていることが既知である「対象物の標本画像」を基にして予め作成される。

具体的には、複数の部位それぞれが対象物の標本画像内の互いに異なる領域として設定される。ここで、隠蔽状態の多様性と検出の信頼性とのトレードオフを解消するために、複数種類の大きさの部位が設定される。部位の大きさと形状との組み合わせをパターンと呼ぶ。また、対象物の標本画像に対応する領域を標本領域と呼ぶ。

或るパターンの部位は標本領域内に位置をずらして複数設定され、これらパターンは同じであるが位置が相違する部位のセットにより標本領域の全体がカバーされる。すなわち、標本領域内の任意の位置には当該セットを構成するいずれかの部位が配置される。当該セットは、パターンが異なる部位ごとに設定される。よって、標本領域内の任意の位置には各パターンの部位が配置される。

部位情報３０は画像上で部位が表す領域を規定する情報である。部位情報３０は、検知処理に先立って生成され、記憶部３に格納される。

本実施形態では各部位の形状は正方形又は長方形とし、部位情報３０は、パターンごとに識別番号、サイズ、配置数及び配置情報を含む。サイズはパターンの形状及び大きさを表す情報であり、画像水平方向の画素数と画像垂直方向の画素数とで表される。配置数は、標本領域内にて各パターンをいくつ配置するか、つまり、標本領域内にパターンが同じで位置が異なる部位をいくつ定義して、標本領域全体をカバーするかを表す。配置情報は各パターンの位置が異なる部位ごとに定義された、当該部位の識別符号（以下、部位ＩＤ（identification data）と称する）と相対位置ベクトルとからなる。各部位の相対位置ベクトルは標本領域の基準点に対する当該部位の相対位置を表す。基準点は全部位に共通して定められ、各部位の相対位置ベクトルによって部位間の位置関係が一意に規定される。本実施形態では、標本領域の重心を当該基準点と定める。別の実施形態では、任意の１つの部位の重心や標本領域の左上隅などを基準点に定める。

図２は、標本画像の一例を示す模式図である。本実施形態では対象物は人であり、標本画像は人の全体画像である。標本画像は、人の形状に合わせて幅（水平）方向６４ピクセル×高さ（垂直）方向１２８ピクセルの縦長の矩形に設定している。この標本画像に対応させて標本領域３００も６４×１２８ピクセルの領域に設定する。

図３は相対位置ベクトルを説明する模式図である。標本領域３００の基準点３０１としてその重心が設定され、部位３０２の重心３０３から基準点３０１へのベクトルが相対位置ベクトル３０４として定義される。

図４は、部位情報３０の具体例を模式的に示す説明図である。部位ＩＤはＣｉ−ｊという形式で表しており、本実施形態では「ｉ」はパターンの識別番号に一致させている。また「ｊ」は各パターンに属する複数の部位の配置を識別する番号である。また、部位Ｃｉ−ｊの相対位置（相対位置ベクトル）をＶｉ−ｊと表している。

本実施形態では、４パターンで３９個の部位を設定する。パターン＃１は各部位の大きさを６４×６４ピクセルとする。配置数は５個に設定し、５個の部位（Ｃ１−１〜Ｃ１−５）は高さ方向に１６ピクセルずつずらして配置される。パターン＃２は各部位の大きさを６４×３２ピクセルとする。配置数は７個に設定し、７個の部位（Ｃ２−１〜Ｃ２−７）は高さ方向に１６ピクセルずつずらして配置される。パターン＃３は各部位の大きさを４８×４８ピクセルとする。幅方向及び高さ方向に１６ピクセルずつずらして、幅方向に２種類の位置、高さ方向に６種類の位置が設定される。これにより、配置数は１２個となり、１２個の部位（Ｃ３−１〜Ｃ３−１２）が設定される。パターン＃４は、各部位の大きさを３２×６４ピクセルとする。幅方向及び高さ方向に１６ピクセルずつずらして、幅方向に３種類の位置、高さ方向に５種類の位置が設定される。これにより、配置数は１５個となり、１５個の部位（Ｃ４−１〜Ｃ４−１５）が設定される。

各パターンの部位は隣接配置されるもの同士がオーバーラップするように設定されている。これにより、検出時の信頼度が高い「大きな部位」を数多く設定できるため、対象物検知の信頼度を向上させることが可能となる。

部位検出器３１は、上述の部位それぞれに対応して設けられ、入力画像にて当該部位と同じ形状に設定される対比部分から当該部位の画像特徴を検出する検出器である。部位検出器３１は対応する部位に対して予め設定された検出基準に基づいて対比部分が部位の画像特徴を有する度合い（検出度）、又は対比部分における部位の画像特徴の有無を出力する。各部位の検出基準は、予め、少なくとも対象物の標本画像を用いて学習されている。

具体的には、部位検出器３１はパターン認識で用いられる識別器である。識別器は、未知の画像特徴（特徴ベクトルｘ＝［ｘ_１，ｘ_２，・・・，ｘ_Ｎ］）が入力されると当該画像特徴が検出対象又は非検出対象である度合いを表す尤度を出力する識別関数Ｈ（ｘ）を備える。つまりこの場合、部位検出器３１の検出基準は識別関数Ｈ（ｘ）であり、部位検出器３１の検出度は尤度である。本実施形態において各部位の部位検出器３１は、入力された画像特徴が当該部位の画像特徴として尤もらしければ正の検出度を出力し、そうでなければ負の検出度を出力する。

画像特徴としては照明変動に頑強な輝度勾配分布を用いるのが望ましい。このような画像特徴として公知のヒストグラム・オブ・オリエンティッド・グラディエント（ＨＯＧ：Histograms of Oriented Gradients）やシェイプコンテキスト（Shape Context）等がある。本実施形態においては画像特徴としてＨＯＧを用いる。識別器は公知のアダブースト法（Robert E．Schapire，Yoram Singer，"Improved Boosting Algorithms Using Confidence-rated Predictions"，Machine Learning，Vol．37，No．3，pp．297-336，1999）等のブースティング法を用いて学習され、学習の結果、識別関数Ｈ（ｘ）のパラメータが算出される。

各部位の部位検出器３１の学習は、例えば、人が撮像された多数の標本画像と人が撮像されていない多数の標本画像のそれぞれから当該部位と対応する部分画像を切り出して各部分画像のＨＯＧを算出し、算出されたＨＯＧにアダブースト法を適用することにより行われる。学習の結果、ＨＯＧが表す特徴空間において検出対象の各部位とそれ以外とを識別する識別関数Ｈ（ｘ）のパラメータが算出され、これらのパラメータが部位検出器３１として部位ごとに記憶部３に記憶される。

入力画像中に撮像された部位を検出する別の構成として、部位検出器３１をパターンマッチング器とすることもできる。この構成では、部位に対応する画像の検出基準に、当該部位の対象物標本画像から作成されたテンプレートを用いる。当該テンプレートとして、例えば部位を構成する画素ごとにエッジ強度を平均化して算出された平均エッジ強度パターンを用いることができる。この場合、部位検出器３１に入力される画像特徴は、入力画像の対比部分の平均エッジ強度パターンであり、部位検出器３１は、当該画像特徴とテンプレートとの類似度を検出度として出力する。

部位検出情報３２は入力画像から各部位を検出した結果の情報である。部位検出情報３２として、検出があるごとに、検出された部位の部位ＩＤと、入力画像中での当該部位の検出位置とを組にした情報が記憶部３に記憶される。なお、各部位検出情報３２には必要に応じて、部位検出器３１により算出された検出度や、その他、例えば、部位を拡大又は縮小して検出した場合にはその拡大・縮小の倍率等が含められる。

画像処理部４はＤＳＰ(Digital Signal Processor)、ＭＣＵ(Micro Control Unit)等の演算装置を用いて構成される。画像処理部４は、画像入力部２からの入力画像を処理して人の存在有無を判定し、人を検知すると異常信号を出力部５へ出力する処理を行う。具体的には、画像処理部４は、記憶部３からプログラムを読み出して実行し、後述する部位検出部４０、統合判定部４１、異常判定部４２として機能する。

部位検出部４０は、各部位検出器３１に対応する部位の形状を有した対比部分を入力画像の各所に設定し、当該部位検出器３１を用いて当該対比部分が当該部位の特徴を有するかを判定・検出する走査処理を行う。部位の特徴を検出した場合にはその結果を部位検出情報３２として記憶部３に記憶させる。

具体的には、部位検出部４０は、対比部分として入力画像内の各位置に各部位と相似の検出窓を順次設定する。そして、検出窓内の画像特徴を抽出し、当該部位の部位検出器３１に画像特徴を入力して検出度を算出する。部位検出部４０は、検出度を予め設定された検出閾値Ｔｐと比較し、検出度がＴｐを超えた場合には当該部位の部位ＩＤ、当該検出窓の位置、及び得られた検出度を含んだ部位検出情報３２を生成する。抽出する画像特徴は部位検出器３１の学習に用いられた画像特徴と同種のものであり、本実施形態ではＨＯＧである。

本実施形態では部位検出器３１は上述したように、画像特徴が検出対象の部位であるときに正の検出度を出力し、検出対象の部位でないとき負の検出度を出力する。これに対応して、検出閾値Ｔｐは０に設定される。

なお、一般的な識別器では上述のように検出対象／非検出対象の尤度の境界値を０に設定するが、０以外の境界値を設定する識別器も提案されている。境界値が０以外の識別器を部位検出器３１として用いる場合は検出閾値Ｔｐに当該境界値を設定する。

部位検出部４０は、複数のパターン（＃１〜４）を用いることで、対象物の各部の検出を複数の大きさ段階にて行えるので、複数の大きさの部位を組み合わせて多様な隠蔽状態に対応できる。

ここで、対象物の見かけ上の大きさは監視カメラと対象物との距離に依存して変化する。また、対象物のプロポーションには個体差があり、例えば対象物が人である場合、胴部や脚部に対する頭部の大きさバランスが標準から外れる者がいたり、コート装着の影響で見かけ上胴部と類似する部分が脚部に侵食して大きさバランスが標準から外れることがある。

そこで部位検出部４０は各部位に対し複数段階の倍率で検出窓を拡大又は縮小させて設定し走査処理を行うことで、見かけ上の大きさ変化や個体差がある対象物の検出漏れの防止を図る。倍率は、例えば０．７５倍〜１．５倍まで０．１２５刻みで７段階に設定することができる。このように、複数段階の倍率で検出を行なう場合、部位検出部４０は検出時の倍率を含めた部位検出情報３２を生成する。

図５は部位検出処理の例を説明する模式図である。図５（ａ）は、部位検出部４０が入力画像４００を部位Ｃ１−１の部位検出器３１でラスタ走査している様子を示している。ラスタ走査の過程で、部位検出部４０は、部位Ｃ１−１の大きさ及び形状を有する検出窓を順次設定する。図５（ａ）には例として検出窓４０１，４０２，４０３を示している。部位検出部４０は、検出窓内の画像から得られる画像特徴を部位Ｃ１−１の部位検出器３１に入力して検出窓内の画像が部位Ｃ１−１の画像特徴を有するか否かを判定する。図５（ａ）に示す例では、人物像上に配置された検出窓４０３の位置で部位Ｃ１−１の画像特徴が検出される。図５（ｂ）に示す画像例４１０は、入力画像４００全体について各部位検出器３１を用いた部位検出部４０による走査処理が完了した状態を示している。部位Ｃ１−１の画像特徴が検出された位置４１１の直下の位置４１２に部位Ｃ２−５の画像特徴が検出されている。また、机の右下端の２箇所４１３，４１４にて倍率０．７５で部位Ｃ２−５の画像特徴が検出されている。

統合判定部４１は、部位検出部４０により生成された部位検出情報３２のうち検出位置が部位情報３０に規定された位置関係を略満たす部位検出情報３２同士をグループ化し、同一のグループに属する部位検出情報３２と対応する部位の大きさの集計値をグループごとに求め、求められた集計値のいずれかが予め設定された対象物検知閾値Ｔｄを超えるときに入力画像に対象物が撮像されているとして対象物を検知する。

このように、検出された部位の大きさの集計値を求めることによって、集計値は部位の大きさにより変動する検出の信頼度を反映したものとなり、当該集計値を用いることで信頼性の高い対象物検知が可能となる。

具体的には、統合判定部４１は、部位検出情報３２それぞれについて、検出位置と、部位ＩＤに対応する相対位置ベクトルと検出時の倍率とを用いて、検出位置を始点に設定し、倍率を乗じた相対位置ベクトルの終点座標を求める。この終点座標は個々の検出位置に合わせて入力画像の座標系に標本領域を相対的に配置したときの基準点を表すことから、当該終点座標を相対基準点と呼ぶ。図５（ａ）の例においては、各矢印が検出された部位の相対位置ベクトルを表し、各矢印の先端が相対基準点を表している。

そして統合判定部４１は、部位検出情報３２のうち、当該相対基準点が略一致するものをグループ化する。相対基準点が略一致する部位検出情報３２は、その部位が互いに部位情報３０に規定された位置関係を満たしており、同一の対象物に対して生成されたものであるということを表す。ここで、標本画像の対象物と入力画像の対象物とは完全に同一のものではなく、個体差や姿勢の変動等が原因で、同一の対象物に対して検出された部位同士であってもその検出位置は微小にずれる。統合判定部４１が、（規定された位置関係を完全に満たす部位検出情報３２ではなく）規定された位置関係を略満たす部位検出情報３２をグループ化するのは検出位置の誤差が原因で同一対象物に対する部位検出情報３２を統合し損ねる誤りを防止するためである。なお、誤差の許容範囲は対象物の隠蔽に対する許容の程度に依存して予め設定される。すなわち、隠蔽率５０％までの対象物を検知しようとするならば誤差の許容範囲は標本領域サイズの５０％未満に設定され、隠蔽率４０％までの対象物を検知しようとするならば誤差の許容範囲は標本領域サイズの６０％未満に設定される。

グループ化は公知のクラスタリング処理により行うことができる。統合判定部４１は、相対基準点に注目し、相対基準点間の距離が上記許容範囲内であることを条件に設定したクラスタリング処理を部位検出情報３２に対して行うことで、規定された位置関係を略満たす部位検出情報３２をグループ化する。

また前述した見かけ上の大きさ変化や個体差が原因で同一対象物の部位が複数の倍率にまたがって検出される場合がある。そこで、統合判定部４１は、倍率が近接する部位検出情報３２のグループ化を許容することにより、見かけ上の大きさ変化や個体差が原因で同一対象物に対する部位検出情報３２を統合し損ねる誤りを防止する。具体的には、統合判定部４１は、相対基準点及び倍率に注目したクラスタリング処理を部位検出情報３２に対して行う。なお、近接する倍率に限定してグループ化するのは、例えば、入力画像に子供を抱えている大人のような像がある場合に、大人と子供の像に対する部位検出情報３２を分離するためである。

本実施形態では、統合判定部４１は、グループごとに部位検出情報３２と対応する部位を部位情報３０に規定された位置関係にて配置し、配置された部位の和領域の面積を集計値として算出することで大きさの集計値を求める。

具体的には、統合判定部４１は、標本領域の座標系の投票画像を用意し、同一グループに属する部位検出情報３２のそれぞれについて当該部位検出情報３２が示す部位と合致する投票領域を投票画像上に設定して投票領域内の各画素に１ずつ加算する投票処理を行い、得票領域の画素数を算出する。投票領域は、部位検出情報３２が示す部位を＃ｍ、その中心位置ベクトルをＲｍ、投票画像内の基準点をＱとすると、Ｐ＝Ｑ−Ｒｍなる座標Ｐを中心に部位＃ｍの大きさ及び形状を有する領域として設定される。

このように、和領域の面積を大きさの集計値とすることで、複数パターンの部位による重複検出や、各パターンの部位に設けられたオーバーラップ部分での重複検出を単一の検出結果として合成できるので、多様な隠蔽状態に対応できる部位の設定の下で、さらに非対象物の誤検知の防止が図れる。

検知閾値Ｔｄは標本画像３００の大きさを基準に設定することができる。例えば、隠蔽率５０％までを許容して対象物を検知するのであれば、本実施形態では、６４×１２８ピクセルの標本領域の画素数の１／２をＴｄに設定することができ、この場合、Ｔｄ＝４０９６となる。なお、集計値を標本画像３００の大きさで正規化してもよく、その場合、上記例に適合するＴｄは０．５となる。

図６、図７は統合判定処理の例を説明する模式図である。図６は、図５に示す例で算出された相対基準点を、その位置（Ｘ，Ｙ）と検出時の倍率とで定義される三次元空間にプロットしたものである。ここで、Ｘは画面水平方向の座標、Ｙは垂直方向の座標である。図５に例示した人物像上の検出位置４１１（部位Ｃ１−１）と検出位置４１２（部位Ｃ２−５）の部位検出情報３２はグループ５１０としてグループ化される。机の右下端の２つの検出位置４１３，４１４（部位Ｃ２−５）はグループ５１２としてグループ化される。

図７はグループごとの投票画像を模式的に示しており、グループ５１０の投票画像５２０を図７（ａ）に、またグループ５１２の投票画像５２２を図７（ｂ）に示している。各投票画像５２０，５２２の斜線部は１画素に１票ずつの票を得ている得票部分であり、投票画像５２０では部位Ｃ１−１の４０９６票と部位Ｃ２−５の２０４８票が合算されて集計値は６１４４票となり、投票画像５２２では部位Ｃ２−５の重複投票が排除されて集計値は２０４８票となる。Ｔｄ＝４０９６としているので、グループ５１０の位置には人が存在すると正しく判定され、グループ５１２の位置には人は存在しないと正しく判定される。

異常判定部４２は、統合判定部４１により対象物の存在が判定されると、侵入異常が検知されたとして異常信号を出力部５へ出力する。

出力部５は、外部装置と接続され、当該外部装置へ異常信号を出力するインターフェース回路である。外部装置は、侵入者の存在を警報するスピーカー、ブザー又はランプ等の警報表示手段や、通信網を介して接続される遠隔地のセンタ装置等である。

次に画像監視装置１の動作を説明する。図８は、画像監視装置１における画像監視処理の概略のフロー図である。例えば、装置の管理者が電源を投入すると画像監視装置１の各部が動作を始める。画像入力部２は所定の時間間隔で（例えば１秒おきに）監視空間を撮像し、撮像した画像を画像処理部４に入力する。画像処理部４は画像が入力されるたびにＳ１０〜Ｓ５０の処理を繰り返す。

画像が入力されると（Ｓ１０）、画像処理部４は部位検出部４０により、入力画像から各部位の検出を行なって部位検出情報３２を生成する（Ｓ２０）。

図９は、部位検出処理Ｓ２０の概略のフロー図である。図９を参照して部位検出処理Ｓ２０を説明する。

部位検出部４０は、部位情報３０に設定されている複数の部位（Ｃ１−１，Ｃ１−２，・・・，Ｃ４−１５）を順次、注目部位に設定し（Ｓ２００）、全ての部位に対してステップＳ２０１〜Ｓ２０９の処理を繰り返すループ処理を実行する。また、当該ループ処理内にはさらに、７段階の倍率を順次設定して（Ｓ２０１）、各倍率に対してステップＳ２０２〜Ｓ２０８の処理を繰り返すループが設定される。

部位及び倍率のループ処理において、部位検出部４０は入力画像の左上端から右下端へのラスタ走査で指定される各位置に、注目部位の検出窓を、注目倍率にて拡大又は縮小して設定する（Ｓ２０２）。なお、検出窓が入力画像からはみ出す位置での設定は省略される。

部位検出部４０は、設定した検出窓内の入力画像から画像特徴を抽出する（Ｓ２０３）。そして、記憶部３から注目部位の部位検出器３１を読み出し、当該部位検出器３１に、ステップＳ２０３にて抽出した画像特徴を入力して、当該窓内の画像に対する注目部位の検出度を算出する（Ｓ２０４）。

部位検出部４０は、算出した検出度を検出閾値Ｔｐと比較し（Ｓ２０５）、検出度がＴｐより大きければ（Ｓ２０５にて「ＹＥＳ」）、検出窓内に注目部位が検出されたとして、注目部位の部位ＩＤ、検出位置（検出窓の中心座標）、注目倍率及び検出度を組にした部位検出情報３２を生成して記憶部３に記憶させる（Ｓ２０６）。一方、検出度がＴｐ以下のときは（Ｓ２０５にて「ＮＯ」）、検出窓内に注目部位が検出されなかったとして、ステップＳ２０６は省略される。

こうして注目部位について全倍率で入力画像全体を走査し終えると（Ｓ２０７にて「ＹＥＳ」、かつＳ２０８にて「ＹＥＳ」）、記憶部３には注目部位の部位検出情報３２が部位の検出回数と同数だけ蓄積されている。

以上の処理を全ての部位に対して終えると（Ｓ２０９にて「ＹＥＳ」）、部位検出処理Ｓ２０は終了する。

部位検出処理Ｓ２０が終わると図８に示すように、画像監視処理は統合判定処理Ｓ３０へ進む。画像処理部４は統合判定部４１により、部位検出処理Ｓ２０にて生成された部位検出情報３２を統合して対象物が入力画像に撮像されているか否かを判定する（Ｓ３０）。

図１０は、統合判定処理Ｓ３０の概略のフロー図である。図１０を参照して統合判定処理Ｓ３０を説明する。

統合判定部４１は、部位検出情報３２に対して部位ごと検出位置に注目したクラスタリングを行なうことで、検出位置が略一致する同一部位の部位検出情報３２を集約する（Ｓ３００）。すなわち、統合判定部４１は、クラスタごとに当該クラスタに属する複数の部位検出情報３２の検出位置、検出度及び倍率それぞれの平均値を算出し、同一とされた部位の部位ＩＤと各平均値とを組にした新たな部位検出情報３２を生成して記憶部３に記憶させる。また、統合判定部４１は、元の部位検出情報３２を記憶部３から削除する。この集約により、後段のステップＳ３０２におけるクラスタリング処理の負荷が軽減され、また、後段のステップＳ３０５〜Ｓ３０８における集計処理の負荷も軽減される。

統合判定部４１は、全ての部位検出情報３２に対して相対基準点を算出する（Ｓ３０１）。すなわち、統合判定部４１は、各部位検出情報３２の部位ＩＤが示す部位の相対位置ベクトルを部位情報３０から読み出し、読み出した相対位置ベクトルに注目倍率を乗算し、得られたベクトルを当該部位検出情報３２の検出位置に加算して相対基準点を算出し、算出した相対基準点を当該部位検出情報３２に追記する。

次に、統合判定部４１は、部位検出情報３２に対して相対基準点及び倍率に注目したクラスタリングを行なうことで、相対基準点及び倍率が略同一の部位検出情報３２をグループ化する（Ｓ３０２）。

統合判定部４１は、処理Ｓ３０２にて生成した各グループを順次、注目グループに設定し（Ｓ３０３）、全てのグループに対してステップＳ３０４〜Ｓ３１２の処理を繰り返すループ処理を実行する。

当該ループ処理にて、統合判定部４１は注目グループに対して全画素値を０に初期化した投票画像を用意する（Ｓ３０４）。投票画像は標本画像と対応する画素位置ごとに投票値を集計するための記憶領域である。投票画像の重心を基準点とする。

当該投票画像を用いて投票処理が行われる。すなわち統合判定部４１は、注目グループに属する部位検出情報３２を順次、注目検出情報に設定し（Ｓ３０５）、注目検出情報の部位ＩＤが示す部位と合致する投票領域を投票画像内に設定する（Ｓ３０６）。そして、投票領域内の画素の画素値に１を加算する処理（Ｓ３０７）を、注目グループに属する全ての部位検出情報３２を処理するまで繰り返す（Ｓ３０８）。ステップＳ３０６の処理は注目検出情報に部位の大きさ（画素数）に応じた投票値を設定し、当該投票値を１画素１票で分配投票していることに相当する。

こうして投票が終わると（Ｓ３０８にて「ＹＥＳ」）、統合判定部４１は、得票領域の和領域の面積を算出する（Ｓ３０９）。この和領域の算出は、投票画像内で画素値が１以上である画素を計数することにより行われる。

統合判定部４１は和領域の面積を検知閾値Ｔｄと比較し（Ｓ３１０）、面積がＴｄより大きければ（Ｓ３１０にて「Ｙｅｓ」）、注目グループの位置に対象物が存在するとして、注目グループの部位検出情報３２に含まれている相対基準点の平均値と同部位検出情報３２に含まれている倍率の平均値とステップＳ３０９にて算出した和領域の面積（大きさの集計値）とからなる対象物検知情報を生成して記憶部３に記憶させる（Ｓ３１１）。対象物検知情報が示す位置に、同情報の倍率に対応する大きさで同情報の大きさの集計値に対応する隠蔽度合いで対象物が撮像されていることが分かる。一方、面積がＴｄ以下のときは（Ｓ３１０にて「ＮＯ」）、注目グループの位置に対象物は存在しないとして、ステップＳ３１１は省略される。

以上の処理を全てのグループに対して終えると（Ｓ３１２にて「ＹＥＳ」）、統合判定処理Ｓ３０は終了する。

統合判定処理Ｓ３０が終わると図８に示すように、画像監視処理は対象物の検知の有無に応じて（Ｓ４０）、警報処理を行う（Ｓ５０）。すなわち、画像処理部４は異常判定部４２により、記憶部３を参照して対象物検知情報の有無を確認し（Ｓ４０）、対象物検知情報が１つでも記憶されていれば（Ｓ４０にて「ＹＥＳ」）、対象物が検知されたとして当該対象物検知情報を含めた異常信号を出力部５に出力し、出力部５に警報を出力させる（Ｓ５０）。

以上の処理を終えると、処理は再びステップＳ１０へ戻される。

［第２の実施形態］
本発明の第２の実施形態に係る画像監視装置１と、上述した第１の実施形態の画像監視装置１との基本的な相違点は、部位の設定の仕方、部位検出部４０における走査処理、及び統合判定部４１における集計処理にあり、それ以外の構成・動作は基本的に共通する。以下、同一の構成要素には同一の符号を付して第１の実施形態での説明を援用しここでの説明の簡素化を図ることとし、主に、第２の実施形態の画像監視装置１が第１の実施形態と異なる点について説明する。

まず、構成面での相違点を説明する。部位の設定の仕方に関して、第１の実施形態では同一パターンに属する部位は、相互間に重複領域の発生を許容して設定したのに対し、本実施形態では同一パターンに属する部位間に重複領域は設定されない。具体的には、或るパターンに属する部位を分割して形成される各小領域が他のパターンの部位として設定される。換言すれば、複数のパターン間には階層構造が存在し、大きさが段階的に異なる複数のパターンが設定される。パターンの数をｎ（ｎは２以上の自然数である。）とし、ｋ番目（ｋは２≦ｋ≦ｎを満たす自然数である。）の大きさのパターンに属する各部位は、ｋ−１番目の大きさのパターンに属する部位を分割して得られる各小領域として設定される。本実施形態ではｎは３に設定する。

図１１は、本実施形態における部位情報３０の具体例を模式的に示す説明図である。本実施形態の部位情報３０は、第１の実施形態の場合と同様、パターンごとに識別番号、サイズ、配置数及び配置情報を含み、それぞれの意味も基本的には同じである。但し、上述のようにパターンが階層的に構成される本実施形態では、パターンの識別番号を階層の順を表す階層番号に一致させている。具体的には、ｎ＝３とする本実施形態では大きさが異なる３つのパターンが設定され、階層はパターンが大きい順に階層＃１，＃２，＃３と表す。また、部位ＩＤの表記「Ｃｉ−ｊ」、及び相対位置ベクトルの表記「Ｖｉ−ｊ」における「ｉ」は第１の実施形態の部位と区別するために、階層＃１〜３に対しｉ＝５〜７を付与している。なお、「ｊ」は第１の実施形態と同様、各パターン（階層）の部位の標本領域内での位置を識別する番号である。

最上層の階層＃１の部位は標本領域３００と一致させ、６４×１２８ピクセルとする。階層＃１の配置数は１となり、部位ＩＤはＣ５−１となる。階層＃２として、部位Ｃ５−１を大きさ６４×６４ピクセルに分割した２つの分割領域Ｃ６−１，Ｃ６−２を設定する。階層＃３として、部位Ｃ６−１，Ｃ６−２をそれぞれ２×２に４等分した大きさ３２×３２ピクセルの分割領域Ｃ７−１〜Ｃ７−８を設定する。この部位の設定の仕方により、階層＃２の部位Ｃ６−１，Ｃ６−２は階層＃１の部位Ｃ５−１に包含される。また、階層＃３の部位Ｃ７−１〜Ｃ７−４は階層＃２の部位Ｃ６−１に包含され、階層＃３の部位Ｃ７−５〜Ｃ７−８は階層＃２の部位Ｃ６−２に包含される。

次に、部位検出部４０における走査処理について説明する。部位検出部４０は第１の実施形態では全ての部位検出器３１で入力画像全体を走査した。これに対し、本実施形態では大きさ段階が最上位（階層＃１）の部位から順に走査処理を行ない、ｋ＋１番目（本実施形態ではｋは１又は２である。）の大きさ段階（階層＃（ｋ＋１））の部位の走査処理は、ｋ番目までの走査処理で当該部位を包含する部位が検出された位置と規定の位置関係にない入力画像内の位置で行う。つまり、入力画像のうち、或る階層にて部位が検出された部分では、当該部位に包含される下位の部位の検出は行わない。また、大きさ段階が最下位に達し部位の大きさが最小になった場合（階層＃３に達した場合）も、階層を変えた新たな走査処理は行わない。このように、本実施形態では、大きさ段階が大なる部位の検出を優先しつつ、対象物の同一部分に対する重複検出を排除することで処理削減と省メモリ化を図る。

次に、統合判定部４１における集計処理について説明する。統合判定部４１は、第１の実施形態では部位の和領域の面積を集計値として算出した。これに対し、本実施形態では検出された部位の大きさを足し合わせて集計値とする。具体的には、統合判定部４１は、まず第１の実施形態と同様に、位置関係を略満たす部位検出情報３２同士をグループ化し、さらに各グループにおいて部位が同一である部位検出情報３２同士を１つに集約する。そして、統合判定部４１は各グループにおいて集約された部位のうち、当該部位を包含する他の部位が同一グループにない部位（つまり同一グループの他の部位により包含されない部位）同士で大きさを加算して集計値を求める。このように包含関係を利用して部位の重複検出を排除することで、単純集計しても非対称物の誤検知の防止できる。

本実施形態と第１の実施形態との動作面での相違点について説明する。画像監視処理の概略は第１の実施形態に示した図８で表されるフローと共通する。相違点は、図８に示す処理のうち部位検出処理Ｓ２０と統合判定処理Ｓ３０とにある。

図１２は、本実施形態の部位検出処理Ｓ２０の概略のフロー図である。図１２を参照して本実施形態の部位検出処理Ｓ２０を説明する。

部位検出部４０は、７段階の倍率を順次、注目倍率に設定して（Ｓ２５０）、各倍率に対してステップＳ２５１〜Ｓ２６３の処理を繰り返すループ処理を実行する。

部位検出部４０は、入力画像の左上端から右下端へのラスタ走査で指定される各位置を相対基準点として設定し（Ｓ２５１）、調査対象の部位をリスト化する調査リストを用意して当該リストに階層＃１の部位、すなわち部位Ｃ５−１を設定する（Ｓ２５２）。

部位検出部４０は、調査リストから任意の部位を１つ読み出して、読み出した部位を注目部位に設定する（Ｓ２５３）。なお、このとき読み出した部位は調査リストから削除しておく。

部位検出部４０は、注目部位を注目倍率にて拡大又は縮小した検出窓をステップＳ２５１にて設定された相対基準点からみた規定位置に設定する（Ｓ２５４）。すなわち部位検出部４０は、注目部位を＃ｍ、その相対位置ベクトルをＲｍ、相対基準点をＱ、注目倍率をαとすると、Ｐ＝Ｑ−Ｒｍ・αなる座標Ｐを算出して当該座標Ｐを中心に注目部位＃ｍをα倍した検出窓を設定する。部位検出部４０は、設定した検出窓内の入力画像から画像特徴を抽出し（Ｓ２５５）、注目部位の部位検出器３１に抽出した画像特徴を入力して注目部位の検出度を算出し（Ｓ２５６）、算出された検出度を検出閾値Ｔｐと比較する（Ｓ２５７）。

検出度がＴｐより大きければ（Ｓ２５７にて「ＹＥＳ」）、部位検出部４０は、検出窓内に注目部位が検出されたとして、注目部位の部位ＩＤ、検出位置（検出窓の中心座標）、注目倍率及び検出度を組にした部位検出情報３２を生成して記憶部３に記憶させる（Ｓ２５８）。

一方、検出度がＴｐ以下のとき（Ｓ２５７にて「ＮＯ」）、部位検出部４０は、部位情報３０を参照して注目部位に下の階層が存在するかどうかの判定を行う（Ｓ２５９）。下の階層が存在する場合（Ｓ２５９にて「ＹＥＳ」）、部位検出部４０は、注目部位より１つ下の階層であって注目部位が包含する部位を調査リストに追加する（Ｓ２６０）。具体的には、注目部位を部位Ｃ５−１に設定して当該部位が検出されなければ部位Ｃ６−１及びＣ６−２が追加され、注目部位を部位Ｃ６−１に設定して当該部位が検出されなければ部位Ｃ７−１〜Ｃ７−４が追加され、また、注目部位を部位Ｃ６−２に設定して当該部位が検出されなければ部位Ｃ７−５〜Ｃ７−８が追加される。注目部位に下の階層が存在しない場合（Ｓ２５９にて「ＮＯ」）、ステップＳ２６０は省略される。

なお、ステップＳ２５４にて検出窓が入力画像をはみ出す場合は、当該検出窓に対するステップＳ２５５〜Ｓ２６０までの処理は省略される（図示せず）。

部位検出部４０は、調査リストが空になるまでステップＳ２５３〜Ｓ２６０までの処理を繰り返す（Ｓ２６１にて「ＮＯ」ならばＳ２５３へ）。調査リストが空になると（Ｓ２６１にて「ＹＥＳ」）、ステップＳ２５１にて設定された相対基準点に対する部位の調査リストのループ処理が終了する。

こうして全倍率で入力画像全体を走査し終えると（Ｓ２６２にて「ＹＥＳ」、かつＳ２６３にて「ＹＥＳ」）、部位検出処理Ｓ２０は終了する。

部位検出処理Ｓ２０が終わると図８に示すように、画像監視処理は統合判定処理Ｓ３０へ進む。

図１３は、本実施形態の統合判定処理Ｓ３０の概略のフロー図である。図１３を参照して本実施形態の統合判定処理Ｓ３０を説明する。

統合判定部４１は、図１０のステップＳ３００と同様にして全ての部位検出情報３２に対して相対基準点を算出し、算出した相対基準位置を当該部位検出情報３２に追記する（Ｓ３５０）。

次に、統合判定部４１は、部位検出情報３２に対して相対基準点及び倍率に注目したクラスタリングを行なうことで、相対基準点及び倍率が略同一の部位検出情報３２をグループ化する（Ｓ３５１）。

統合判定部４１は、処理Ｓ３５１にて生成した各グループを順次、注目グループに設定し（Ｓ３５２）、全てのグループに対してステップＳ３５３〜Ｓ３６１の処理を繰り返すループ処理を実行する。

グループのループ処理にて、統合判定部４１は注目グループに対する集計値を０に初期化する（Ｓ３５３）。また統合判定部４１は、注目グループに属する部位検出情報３２のうち部位が同一の部位検出情報３２を１つにまとめる（Ｓ３５４）。すなわち統合判定部４１は、これら複数の部位検出情報３２に含まれる検出位置、相対基準点、検出度及び倍率それぞれの平均値を算出し、同一であった部位の部位ＩＤと各平均値とを組にした新たな部位検出情報３２を生成して記憶部３に記憶させる。また、元の部位検出情報３２を記憶部３から削除する。この集約処理により同一部位の重複集計が回避される。

しかる後、統合判定部４１は、注目グループ内の部位検出情報３２を順次、注目検出情報に設定し（Ｓ３５５）、注目グループ内の全ての部位検出情報３２に対してステップＳ３５６〜Ｓ３５８のループ処理を行う。

注目グループ内のループ処理にて、統合判定部４１は、部位情報３０の階層関係を参照して、注目検出情報の部位ＩＤが示す部位を包含する上位部位の部位ＩＤが注目グループ内の注目検出情報以外の部位検出情報３２に記録されていないか確認する（Ｓ３５６）。注目検出情報が示す部位を包含する他の部位がない場合（Ｓ３５６にて「ＹＥＳ」）、統合判定部４１は、部位情報３０から注目検出情報が示す部位の大きさを読み出して、当該大きさを集計値に加算する（Ｓ３５７）。一方、注目検出情報が示す部位を包含する他の部位がある場合（Ｓ３５６にて「ＮＯ」）、ステップＳ３５７は省略される。包含部位を集計から排除する処理によって、検出の信頼性が高い大きな部位を優先した集計が可能となり、また複数の部位に対する重複集計が排除される。

こうして注目グループ内の全ての部位検出情報３２に対する処理を終えると（Ｓ３５８にて「ＹＥＳ」）、注目グループに関する大きさの集計値の算出が終わる。

続いて、統合判定部４１は、集計値を検知閾値Ｔｄと比較し（Ｓ３５９）、集計値がＴｄより大きければ（Ｓ３５９にて「Ｙｅｓ」）、注目グループの位置に対象物が存在するとして、注目グループの部位検出情報３２に含まれている対象物位置の平均値と集計値とからなる対象物検知情報を生成して記憶部３に記憶させる（Ｓ３６０）。一方、集計値がＴｄ以下のときは（Ｓ３５９にて「ＮＯ」）、注目グループの位置に対象物は存在しないとして、ステップＳ３６０は省略される。

以上の処理を全てのグループに対して終えると（Ｓ３６１にて「ＹＥＳ」）、統合判定処理Ｓ３０は終了して、第１の実施形態と同様、画像監視処理は対象物の検知の有無に応じて（Ｓ４０）、警報処理を行う（Ｓ５０）。

１画像監視装置、２画像入力部、３記憶部、４画像処理部、５出力部、３０部位情報、３１部位検出器、３２部位検出情報、４０部位検出部、４１統合判定部、４２異常判定部、３００標本画像（標本領域）、３０１基準点、３０２部位、３０３重心、３０４相対位置ベクトル、４００入力画像、４０１，４０２，４０３検出窓、４１０画像例、４１１，４１２，４１３，４１４検出位置、５１０，５１２グループ、５２０，５２２投票画像。

Claims

入力画像中に撮像されている対象物を検知する対象物検知装置であって、
前記対象物の標本画像内に互いの領域重複を許容して設定された、大きさ及び位置の少なくとも一方が互いに異なる複数の部位と、前記部位間の位置関係とを予め記憶している記憶部と、
前記標本画像が示す前記各部位の特徴を検出する検出器と、
前記入力画像を前記各部位の前記検出器にて走査し、前記各部位の特徴が検出された前記入力画像内の検出位置を当該部位と対応付けた検出情報を生成する部位検出部と、
前記検出位置が前記位置関係を略満たす前記検出情報同士をグループ化し、前記グループごとに、前記検出情報と対応する前記部位を前記位置関係にて配置して当該配置された部位の和領域の面積を求め、予め設定された閾値を超える前記面積が求められたときに前記対象物を検知する統合判定部と、
を有することを特徴とする対象物検知装置。
請求項１に記載の対象物検知装置において、
前記部位検出部は、予め設定された複数の倍率で前記部位又は前記入力画像を拡大又は縮小して前記走査処理を行って当該倍率を含めた前記検出情報を生成し、
前記統合判定部は、前記倍率が近接する前記検出情報同士を前記グループ化すること、
を特徴とする対象物検知装置。
入力画像中に撮像されている対象物を検知する対象物検知装置であって、
前記対象物の標本画像内に、大きさ及び位置の少なくとも一方を互いに異ならせ、互いに前記大きさが異なる一方の部位が他方の部位を包含すること以外の領域重複を禁止して設定された複数の部位と、前記部位間の位置関係とを予め記憶している記憶部と、
前記標本画像が示す前記各部位の特徴を検出する検出器と、
前記入力画像を前記各部位の前記検出器にて走査し、前記各部位の特徴が検出された前記入力画像内の検出位置を当該部位と対応付けた検出情報を生成する部位検出部と、
前記検出位置が前記位置関係を略満たす前記検出情報同士をグループ化し、前記各グループにおいて、前記部位ごとに前記検出情報を１つに集約し、前記集約された前記部位のうち当該集約された他の部位のいずれにも包含されない部位の前記大きさ同士を加算して前記検出情報と対応する前記部位の大きさの総和を前記グループごとに求め、予め設定された閾値を超える前記総和が求められたときに前記対象物を検知する統合判定部と、
を有することを特徴とする対象物検知装置。
請求項３に記載の対象物検知装置において、
前記部位検出部は、前記大きさが大きな前記部位から順番に前記走査を行い、前記順番が下位である部位の前記走査は当該部位を包含する前記部位の前記検出位置と前記位置関係にない前記入力画像内の位置にて行うこと、
を特徴とする対象物検知装置。