JP6166297B2 - Posture estimation device - Google Patents
Posture estimation device Download PDFInfo
- Publication number
- JP6166297B2 JP6166297B2 JP2015049683A JP2015049683A JP6166297B2 JP 6166297 B2 JP6166297 B2 JP 6166297B2 JP 2015049683 A JP2015049683 A JP 2015049683A JP 2015049683 A JP2015049683 A JP 2015049683A JP 6166297 B2 JP6166297 B2 JP 6166297B2
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- silhouette
- person
- degree
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 claims description 138
- 230000036544 posture Effects 0.000 claims description 129
- 238000000605 extraction Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 description 55
- 238000000034 method Methods 0.000 description 36
- 238000012544 monitoring process Methods 0.000 description 36
- 238000001514 detection method Methods 0.000 description 23
- 230000005856 abnormality Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 8
- 230000010354 integration Effects 0.000 description 8
- 208000028752 abnormal posture Diseases 0.000 description 7
- 238000000926 separation method Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000005484 gravity Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000000245 forearm Anatomy 0.000 description 2
- 210000003141 lower extremity Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、監視空間を撮像した画像から監視空間中の物体の姿勢を推定する姿勢推定装置に関する。 The present invention relates to a posture estimation device that estimates the posture of an object in a monitoring space from an image obtained by imaging the monitoring space.
監視空間を撮像した画像に写る人物の姿勢を推定する方法には、画像から抽出した人物のシルエット(差分領域など)と、様々な姿勢を模した人物モデルとの形状マッチングを行う方法がある。この方法においては、監視空間に複数の人物が存在すると推定精度が低下する場合がある。すなわち、複数人が画像上で重なり、そのシルエットが一体化すると一人ひとりの詳細形状が得られないため、複数通りの姿勢がマッチしてしまう。そのため、一人ずつのマッチングではその姿勢を一意に決定できないのである。 As a method for estimating the posture of a person shown in an image obtained by capturing an image of the monitoring space, there is a method of performing shape matching between a human silhouette extracted from the image (such as a difference region) and a human model imitating various postures. In this method, when there are a plurality of persons in the monitoring space, the estimation accuracy may decrease. That is, when a plurality of people overlap on the image and the silhouettes are integrated, the detailed shape of each person cannot be obtained, and thus a plurality of postures match. Therefore, the posture cannot be uniquely determined by matching one person at a time.
そこで、従来、人数分の人物モデルを姿勢ごとに組み合わせてマッチングを行い、最もマッチする姿勢の組み合わせを推定していた(特許文献1)。 Therefore, conventionally, matching is performed by combining the person models for each number of postures for each posture, and the combination of the most matching postures is estimated (Patent Document 1).
或いは、ある視点のシルエットが一体化していても別視点のシルエットでは分離していることが期待されるので、監視空間を複数のカメラにより複数視点から撮像して、3次元のマッチングを行って姿勢を推定していた。 Or, even if the silhouette of a certain viewpoint is integrated, it is expected that the silhouette of another viewpoint is separated, so the surveillance space is imaged from multiple viewpoints by multiple cameras, and the posture is determined by performing three-dimensional matching. Was estimated.
しかしながら、人物形状モデルを組み合わせてマッチングを行う方法では、シルエットが一体化している人数が増えると、姿勢の組み合わせの数が指数関数的に増加し、リアルタイム処理が困難となる。例えば、3人の人物が一体化して撮像された画像に対し各人物につき100通りの姿勢を試行するならば100万回(100の3乗回)のマッチング処理を実行することになる。さらに、より詳細な姿勢を推定するために多関節の人物形状モデルを用いれば姿勢の組み合わせの数はなお一層増加し、リアルタイム処理の実現は増々困難化していた。 However, in the method of performing matching by combining person shape models, the number of posture combinations increases exponentially and the real-time processing becomes difficult as the number of silhouettes integrated increases. For example, if 100 postures are tried for each person with respect to an image obtained by integrating three persons, one million (100 cubed) matching processes are executed. Furthermore, if an articulated human shape model is used to estimate a more detailed posture, the number of posture combinations is further increased, and real-time processing has become increasingly difficult.
また、複数のカメラを用いる方法では、設置できるカメラの台数がコスト的に限られてしまうため、結局、姿勢の組み合わせの数だけマッチングが必要となりリアルタイム処理が困難となる場合が生じ得る。例えば、ある視点で複数人が分離したシルエットが得られても、その視点で右半身が隠れている人物の姿勢を決定するには、別視点のシルエットが必要である。しかし、別視点のシルエットが一体化していれば、結局、姿勢の組み合わせの数だけマッチングが必要となってしまうのである。 In addition, in the method using a plurality of cameras, the number of cameras that can be installed is limited in terms of cost. Consequently, matching may be required by the number of combinations of postures, and real-time processing may be difficult. For example, even if a silhouette obtained by separating a plurality of people from a certain viewpoint is obtained, a silhouette from a different viewpoint is necessary to determine the posture of a person whose right half is hidden from that viewpoint. However, if silhouettes from different viewpoints are integrated, matching is required as many as combinations of postures.
本発明は、上記問題を鑑みてなされたものであり、複数の物体が同時撮像された画像から各物体の姿勢を少ない計算量で推定することのできる姿勢推定装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a posture estimation apparatus that can estimate the posture of each object with a small amount of calculation from an image in which a plurality of objects are simultaneously captured. .
本発明に係る姿勢推定装置は所定の物体を撮影した画像から前記物体の姿勢を推定する装置であって、前記画像から複数の前記物体が一体化したシルエットを抽出するシルエット抽出手段と、前記各物体について、前記シルエットと重複し、且つ互いに異なる姿勢の候補領域を複数生成する候補領域生成手段と、前記各物体について前記候補領域ごとに、当該候補領域外に生成された当該物体以外の前記候補領域が多いほど高い評価値を算出する候補領域評価手段と、前記物体ごとに、前記評価値が高い候補領域が示す姿勢ほど強く反映された姿勢を当該物体の姿勢に決定する姿勢決定手段と、を含む。 The posture estimation device according to the present invention is a device for estimating the posture of the object from an image obtained by photographing a predetermined object, and a silhouette extraction unit that extracts a silhouette in which a plurality of the objects are integrated from the image; Candidate area generating means for generating a plurality of candidate areas that overlap the silhouette and have different postures for the object, and the candidates other than the object generated outside the candidate area for each candidate area for each object Candidate area evaluation means for calculating a higher evaluation value as the number of areas increases, and attitude determination means for determining, for each object, an attitude that is more strongly reflected as the attitude indicated by the candidate area having a higher evaluation value as the attitude of the object; including.
本発明の好適な態様の1つは上記姿勢推定装置において、前記シルエット内の位置に対応付けて、前記各物体の前記複数の候補領域に対する当該物体以外の候補領域の重複度合いを算出する重複度算出手段を有し、前記候補領域評価手段は、前記各物体の前記候補領域ごとに、当該候補領域外における当該物体に関する前記重複度合いが高いほど高い評価値を算出する。 One preferred aspect of the present invention is the above-described posture estimation apparatus, wherein the degree of overlap is calculated by calculating the degree of overlap of candidate regions other than the object with respect to the plurality of candidate regions of each object in association with the position in the silhouette. The candidate area evaluation means calculates a higher evaluation value for each candidate area of each object as the degree of overlap with respect to the object outside the candidate area increases.
上記本発明の姿勢推定装置において、前記重複度算出手段は、算出された前記評価値が高い前記候補領域ほど高く重み付けて前記重複度合いを更新し、前記候補領域評価手段は、更新された前記重複度合いに応じて前記評価値を更新する構成としてもよい。 In the posture estimation apparatus according to the present invention, the duplication degree calculation means updates the degree of duplication by weighting the candidate area having a higher calculated evaluation value, and the candidate area evaluation means updates the duplication The evaluation value may be updated according to the degree.
さらに上記本発明の姿勢推定装置において、前記候補領域評価手段は、前記重複度合いの更新に用いた前記評価値を、更新された前記重複度合いを反映して修正し、更新された前記評価値とする構成としてもよい。 Furthermore, in the posture estimation apparatus according to the present invention, the candidate area evaluation unit corrects the evaluation value used for updating the overlapping degree to reflect the updated overlapping degree, and the updated evaluation value and It is good also as composition to do.
また、上記本発明の姿勢推定装置において、前記候補領域評価手段は、前記各物体の前記候補領域ごとに、前記シルエットからのはみ出し度合いを算出し、当該はみ出し度合いが高いほど前記評価値を低く補正する構成としてもよい。 In the posture estimation apparatus of the present invention, the candidate area evaluation unit calculates a degree of protrusion from the silhouette for each candidate area of each object, and the evaluation value is corrected to be lower as the degree of protrusion is higher. It is good also as composition to do.
本発明によれば、少ない計算量で、複数の物体が同時撮像された画像から各物体の姿勢を推定することが可能となる。そのため、監視空間に複数の物体が存在していても、それぞれの物体の姿勢をリアルタイムで推定可能な姿勢推定装置を実現することが容易となる。 According to the present invention, it is possible to estimate the posture of each object from an image obtained by simultaneously capturing a plurality of objects with a small amount of calculation. Therefore, even if there are a plurality of objects in the monitoring space, it is easy to realize a posture estimation device that can estimate the posture of each object in real time.
以下、本発明の姿勢推定装置を含んだ好適な実施形態の一例として、姿勢推定装置により推定した姿勢に基づいて異常シーンを検知して警備センター等へ異常信号を出力する異常検知システム1について説明する。
Hereinafter, as an example of a preferred embodiment including the posture estimation device of the present invention, an
[異常検知システム1の構成]
図1は異常検知システム1の概略の構成を示すブロック図である。異常検知システム1は、撮像部2、記憶部3、画像処理部4及び出力部5からなる。
[Configuration of anomaly detection system 1]
FIG. 1 is a block diagram showing a schematic configuration of the
撮像部2はいわゆる監視カメラであり、監視空間を臨むように設置され、監視空間を所定の時間間隔で撮影する。撮像部2は画像処理部4と接続され、監視空間を撮影した監視画像を順次、画像処理部4へ出力する。
The
記憶部3はROM(Read Only Memory)、RAM(Random Access Memory)等のメモリ装置であり、各種プログラムや各種データを記憶し、画像処理部4との間でこれらの情報を入出力する。記憶部3に記憶される各種データには背景画像、追跡情報及び人物モデルが含まれ、記憶部3は後述する記憶手段30としても機能する。
The
画像処理部4はCPU(Central Processing Unit)、DSP(Digital Signal Processor)、MCU(Micro Control Unit)等の演算装置である。画像処理部4は記憶部3からプログラムを読み出して当該プログラムを実行することで後述するシルエット抽出手段40、シルエット内人数判定手段41、候補領域生成手段42、候補領域評価手段43、姿勢決定手段44、単数人シルエット処理手段45、異常検知手段46などとして機能し、撮像部2から入力された監視画像を処理して監視空間中の人物の姿勢を推定し、推定した姿勢に異常の発生を示す姿勢があれば異常信号を生成して出力部5へ出力する。
The
出力部5は異常信号等を外部へ出力する通信手段である。出力部5は画像処理部4に接続され、画像処理部4から異常信号が入力されると、当該異常信号を警備センター等へ出力する。
The
[記憶部3及び画像処理部4の機能]
図2は記憶部3及び画像処理部4の機能を説明するブロック図である。
[Functions of
FIG. 2 is a block diagram illustrating functions of the
シルエット抽出手段40は監視画像から当該画像上に人物が現れている領域を示すシルエットを抽出し、抽出結果として、監視画像の各画素と対応する画素の値を人物領域において1、人物領域以外において0に設定したシルエット画像を生成する。抽出されるシルエットには複数の物体が一体化したシルエットが含まれ得る。 The silhouette extraction means 40 extracts a silhouette indicating a region where a person appears on the image from the monitoring image. As a result of extraction, the value of the pixel corresponding to each pixel of the monitoring image is 1 in the person region and other than the person region. A silhouette image set to 0 is generated. The extracted silhouette may include a silhouette in which a plurality of objects are integrated.
具体的には、シルエット抽出手段40は公知の背景差分処理又は背景相関処理により変化領域を抽出する。すなわちシルエット抽出手段40は、監視画像を背景画像と比較して対応する各画素の値の相違度(差、又は1から相関値を減じた値)を算出し、シルエット画像の画素値を当該相違度に応じて定める。本実施形態では、相違度がしきい値を超える画素を変化画素として検出して、シルエット画像の画素値を1とし、相違度がしきい値以下の画素についてシルエット画像の画素値を0とする。さらにシルエット抽出手段40は互いに隣接する変化画素をまとめ、まとめた領域をシルエットとして抽出する。検出のしきい値は事前実験に基づき予め設定される。なお、シルエット抽出手段40は予め定めた1人分の人物基準サイズに満たない大きさの変化領域について画素値を0とし、当該変化領域をシルエットから除外する。
Specifically, the silhouette extraction means 40 extracts a change area by a known background difference process or background correlation process. That is, the
ちなみに、背景画像は監視空間の背景のみが撮像されている画像であり、シルエット抽出処理に先立って生成され、記憶手段30に記憶される。シルエット抽出手段40は記憶手段30から背景画像を読み出して監視画像と比較し、シルエットを抽出する。
Incidentally, the background image is an image in which only the background of the monitoring space is captured, and is generated prior to the silhouette extraction process and stored in the storage means 30. The
なお、抽出結果として各画素の値に、当該画素における相違度を0以上1以下に正規化した連続値を設定したシルエット画像を生成してもよい。 Note that a silhouette image in which a continuous value obtained by normalizing the degree of difference of the pixel to 0 or more and 1 or less may be generated as the extraction result.
シルエット抽出手段40は撮像部2から新たに入力された監視画像からシルエットを抽出し、抽出されたシルエットはシルエット内人数判定手段41経由で、候補領域生成手段42、候補領域評価手段43、単数人シルエット処理手段45へ出力される。
The
シルエット内人数判定手段41はシルエット抽出手段40が抽出した各シルエットに含まれる人物数を判定し、複数の人物を含むと判定したシルエットは候補領域生成手段42、候補領域評価手段43に出力し、1人だけを含むと判定したシルエットは単数人シルエット処理手段45に出力する。 The silhouette number determination means 41 determines the number of persons included in each silhouette extracted by the silhouette extraction means 40, and outputs the silhouette determined to include a plurality of persons to the candidate area generation means 42 and the candidate area evaluation means 43, The silhouette determined to include only one person is output to the single person silhouette processing means 45.
具体的には、シルエット内人数判定手段41は下記A1〜A4の方法で人物数を判定する。 Specifically, the in-silhouette number determination means 41 determines the number of persons by the following methods A1 to A4.
(A1)シルエット内人数判定手段41は各シルエットを追跡して当該シルエットの統合を検出し、少なくとも統合後のシルエットの人物数が複数であると判定する。このとき統合されたシルエットの数を統合後のシルエットの人物数と判定することもでき、又は統合されたシルエットに対して判定されていた人物数を合計して統合後のシルエットの人物数とすることもできる。さらにシルエット内人数判定手段41はシルエットの分離をも検出し、分離したシルエットの人物数を減算して分離後のシルエットの人物数を判定することもできる。なおシルエット内人数判定手段41は各シルエットの人物数と併せて当該シルエットに統合や分離が検出されたか否かの別も出力する。 (A1) The in-silhouette number determination means 41 tracks each silhouette and detects the integration of the silhouettes, and determines that there are a plurality of silhouettes at least after integration. At this time, it is possible to determine the number of integrated silhouettes as the number of silhouettes after integration, or the total number of persons determined with respect to the integrated silhouettes is used as the number of silhouettes after integration. You can also. Further, the number-of-silhouettes determination means 41 can also detect the separation of silhouettes and subtract the number of persons in the separated silhouettes to determine the number of persons in the silhouettes after separation. The number-of-in-silhouts determination means 41 outputs whether or not integration or separation has been detected in the silhouette together with the number of persons in each silhouette.
(A2)シルエット内人数判定手段41は各シルエットの大きさをしきい値判定して人物数を判定する。しきい値は1人分の基準サイズに基づき予め定めておく。例えばシルエットの画素数が、基準サイズの0.8倍以上且つ2×0.8倍未満なら1人、基準サイズの2×0.8倍以上且つ3×0.8倍未満なら2人、基準サイズの3×0.8倍以上且つ4×0.8倍未満なら3人、…というように判定する。なお見かけ上の人物サイズは撮像部2と人物の位置関係により変わるため人物サイズ範囲は監視画像上の位置ごとに設定するのがよい。
(A2) The number-of-silhouettes determination means 41 determines the number of persons by making a threshold determination on the size of each silhouette. The threshold value is determined in advance based on the reference size for one person. For example, if the number of pixels in the silhouette is 0.8 times or more of the standard size and less than 2 × 0.8 times, 1 person, if the number of silhouette pixels is 2 × 0.8 times or more and less than 3 × 0.8 times the standard size, 2 people, the standard If the size is 3 × 0.8 times or more and less than 4 × 0.8 times, the number of people is determined. Since the apparent person size varies depending on the positional relationship between the
(A3)シルエット内人数判定手段41は各シルエットにおける監視画像から頭部形状(楕円やΩ形のエッジ)を検出して検出された頭部形状の数を人物数として判定する。 (A3) The in-silhouette number determination means 41 detects the number of head shapes detected by detecting the head shape (ellipse or Ω-shaped edge) from the monitoring image in each silhouette, and determines the number of head shapes.
(A4)シルエット内人数判定手段41は各シルエットにおける監視画像から顔特徴(肌色楕円や顔の部位)を検出して検出された顔特徴の数を人物数として判定する。 (A4) The number-of-silhouettes determination means 41 detects the number of face features detected by detecting face features (skin color ellipse or face part) from the monitoring images in each silhouette.
本実施形態においては(A1)及び(A2)を選択的に用いる。すなわちシルエット内人数判定手段41は、シルエットを追跡して、追跡において新規出現と判定されたシルエットの大きさのしきい値判定により人物数を初期判定し、追跡したシルエットの統合及び分離から変動する人物数を判定する。 In this embodiment, (A1) and (A2) are selectively used. That is, the silhouette number determination means 41 tracks the silhouette, initially determines the number of persons by threshold value determination of the silhouette size determined to be new appearance in the tracking, and varies from integration and separation of the tracked silhouettes. Determine the number of people.
なお、シルエット内人数判定手段41はシルエット内における各人物の概略の位置を含めて判定し、候補領域生成手段42及び候補領域評価手段43へ人物数とともに概略の位置を出力してもよい。概略の位置が得られる場合は候補領域生成手段42が生成する候補領域数Mを減らすことができる。
The in-silhouette number determination means 41 may make a determination including the approximate position of each person in the silhouette and output the approximate position together with the number of persons to the candidate area generation means 42 and the candidate area evaluation means 43. When the approximate position is obtained, the number M of candidate areas generated by the candidate
候補領域生成手段42は人物ごとにシルエットに形状が適合する複数の姿勢の候補領域を生成し、候補領域評価手段43に出力する。候補領域生成手段42は注目するシルエットに含まれる人物がN人であれば、当該シルエットに対しN×M個の候補領域を生成し、それぞれ候補領域内の画素値を1、候補領域外の画素値を0に設定したN×M枚の候補領域画像を出力する。各人物に対して生成する候補領域の数Mは予め設定しておく。少なくともMは1より大きい値であり、例えば100個である。
Candidate area generating means 42 generates candidate areas having a plurality of postures whose shapes match the silhouette for each person, and outputs the candidate areas to candidate
なお、候補領域数Mは人物ごとに異なる値としてもよい。例えば、適合の度合いが高い人物のMは適合の度合いが低い人物よりも少なくするなどとすることができる。 Note that the number M of candidate areas may be different for each person. For example, M of a person with a high degree of matching can be set to be less than that of a person with a low degree of matching.
候補領域生成手段42は人物の形状を模した人物モデルを用いて候補領域を生成する。その際、候補領域生成手段42は各人物について、シルエットに含まれる複数の人物のうち当該人物以外の他の人物の形状等は考慮せずに、当該人物の単独形状に基づいてシルエットに適した姿勢の候補領域を複数生成する。 Candidate area generation means 42 generates a candidate area using a person model that imitates the shape of a person. At that time, the candidate area generation means 42 is suitable for the silhouette based on the individual shape of the person without considering the shape of the person other than the person among the plurality of persons included in the silhouette. A plurality of posture candidate regions are generated.
ここで、人物モデルは記憶手段30に予め記憶させておく。例えば、人物モデルは人の頭・胴・左上腕・左前腕・右上腕・右前腕・左上肢・左下肢・右上肢・右下肢の10部位をそれぞれ回転楕円体で表した部位モデルからなる3次元の多関節モデルである。姿勢パラメータは各部位モデルの3次元位置と3次元の回転角であり、姿勢パラメータにより人物の姿勢が表現される。
Here, the person model is stored in the
候補領域生成手段42は記憶手段30から人物モデルを読み出し、人物ごとに、人物モデルの姿勢パラメータを微小変更しては人物モデルを投影した画像とシルエットとの形状マッチングを行って一致度を算出する処理を繰り返し、一致度が上位1位からM位までの姿勢パラメータを決定する。一致度は人物モデルの投影像とシルエットとの重複が多いほど高く、投影像のシルエットからのはみ出しが多いほど低い値となる。候補領域生成手段42は決定したM個の姿勢パラメータが表す姿勢の人物モデルを投影した画像の外形を候補領域とする。
The candidate
以上のように、候補領域生成手段42は同一シルエットに含まれる複数の物体のそれぞれについて、当該シルエットと一部または全部が重複し、且つ表す姿勢が互いに異なる複数の候補領域を生成する。
As described above, the candidate
図3はシルエットの例を示す模式図であり、3人の人物H1〜H3が写る監視画像400からシルエット画像402が生成され、当該シルエット画像402には人物H1〜H3が一体化したシルエット404が抽出されている。なお、図3はシルエット404を白抜きの領域で表している。
FIG. 3 is a schematic diagram illustrating an example of a silhouette. A
また、図4は図3のシルエットに対応した候補領域の例を示す模式図であり、人物Hn(n=1〜3)のそれぞれに対してシルエット404に形状が適合する100個ずつの候補領域An,m(m=1〜100)が生成された例を示している。なお、図4にて人物IDがnに当たり、候補番号がmに当たる。なお、図4は候補領域An,mを白抜きの領域で表している。
FIG. 4 is a schematic diagram showing an example of candidate areas corresponding to the silhouette of FIG. 3, and 100 candidates whose shape matches the
候補領域評価手段43は各候補領域の正しさを評価する。具体的には、候補領域が表す姿勢が正しい可能性を表す評価値である候補評価値を算出する。本発明では、評価値算出の対象とする注目人物の注目候補領域について注目候補領域以外の残余領域における他の人物の候補領域の多さに注目する。すなわち候補領域評価手段43は、各物体についてその候補領域ごとに当該候補領域外に生成された当該物体以外の候補領域が多いほど高い評価値を算出する。そのために候補領域評価手段43は、各物体について候補領域ごとに、当該候補領域外において当該物体の複数の候補領域に対する当該物体以外の他の物体の候補領域との重複度合いが高いほど高い候補評価値を算出する。つまり残余領域にて他の人物の候補領域との重複度合いが高いほど、逆に注目候補領域では他の人物の候補領域との重複度合いが低くなり、注目候補領域に注目人物が存在する可能性が高いと期待できることから候補評価値を高くするのである。
Candidate area evaluation means 43 evaluates the correctness of each candidate area. Specifically, a candidate evaluation value that is an evaluation value indicating the possibility that the posture represented by the candidate region is correct is calculated. In the present invention, attention is focused on the number of candidate areas of other people in the remaining area other than the candidate area of interest for the candidate candidate area of interest of interest for which an evaluation value is to be calculated. That is, the candidate
本実施形態では重複度合いを、それと相反する関係を有する非重複度を用いて表す。具体的には非重複度は、監視画像の各画素において、注目する人物の複数の候補領域に対する他の人物の候補領域が重複していない度合いを0から1までの範囲で表した値である。重複度合いを監視画像の各画素において注目する人物の候補領域に対する他の人物の候補領域が重複している度合いであるとすると、各画素における重複度合いと非重複度との和は一定値、例えば1であり、重複度合いが0から1まで増加するのに対応して非重複度は1から0まで減少する。非重複度は、その値が大きい画素ほど他の人物の候補領域の重複が少ないため、注目する人物が写っている画素である可能性が高いことを意味する。 In the present embodiment, the degree of overlap is expressed using a non-overlap degree that has a contradictory relationship. Specifically, the degree of non-overlap is a value in the range from 0 to 1 indicating the degree of non-overlap of candidate areas of other persons with respect to a plurality of candidate areas of the person of interest in each pixel of the monitoring image. . If the degree of overlap is the degree at which the candidate area of another person overlaps the candidate area of the person of interest in each pixel of the monitoring image, the sum of the degree of overlap and the degree of non-overlap in each pixel is a constant value, for example The non-overlapping degree decreases from 1 to 0 corresponding to the degree of overlap increasing from 0 to 1. The non-overlapping degree means that a pixel having a larger value is more likely to be a pixel in which a person of interest is shown because there is less overlap of candidate areas of other persons.
候補領域評価手段43は、非重複度を算出する非重複度算出手段430、非重複度を基に候補評価値を算出する評価値算出手段431を少なくとも含み、好適にはさらに候補評価値を改善するために非重複度の算出と候補評価値の算出とを反復させる反復制御手段432を含む。
The candidate
非重複度算出手段430は人物ごとに非重複度を算出する手段であり、上述したように非重複度と重複度合いとは相補的な関係にあるので実質的に本発明における重複度算出手段に当たる。具体的には、非重複度算出手段430は監視画像の画素ごとに、各人物の候補領域画像の画素値を累積し、シルエットに含まれる複数の人物についての累積値の合計が1になるように、注目する人物についての候補領域画像の画素値の累積値を正規化して当該注目人物についての非重複度を求める。
The non-overlapping degree calculating means 430 is a means for calculating the non-overlapping degree for each person. Since the non-overlapping degree and the overlapping degree have a complementary relationship as described above, it substantially corresponds to the overlapping degree calculating means in the present invention. . Specifically, the non-overlap
この非重複度の算出の際、非重複度算出手段430は、各人物の候補領域における画像の画素値に、当該候補領域について1回前の反復により算出した候補評価値を乗じ、候補評価値による重み付けを行う。すなわち、非重複度算出手段430は、算出した候補評価値が高い候補領域ほど高く重み付けて重複度合いを更新し、候補領域評価手段43は更新した重複度合いに応じて候補評価値を算出し直す。
At the time of calculating the non-overlap degree, the non-overlap
この理由について説明する。候補領域評価手段43が算出する候補評価値は、注目する人物以外の人物の候補領域に基づいて、当該人物の候補領域を評価する値である。そのため、一度の算出では注目する人物の或る候補領域の候補評価値に当該人物自身の他の候補領域に対する評価を反映できない。この点、候補評価値を用いて重複度合いを更新することで各人物の候補領域に対する評価を自身の候補評価値に反映させることができる。これにより正解の候補領域に対する候補評価値が強調され、姿勢推定の精度が向上する。
The reason for this will be described. The candidate evaluation value calculated by the candidate
例えば、非重複度算出手段430は、以上に説明した各人物の非重複度を次式により算出する。
For example, the non-overlap
ここで、fn,pは画素pにおける第n人物の非重複度であり、Nは注目するシルエットに含まれる人数、Mは1人の人物に対して生成した候補領域数である。また、pは画素を表し、In,m,pは第n人物の第m候補領域を表す候補領域画像における画素pの画素値である。また、en,mは第n人物の第m候補領域に対して算出された候補評価値である。ただし、式(1)におけるen,mは1回目の反復において算出された候補評価値である。1回目の反復においてはen,m=1/Mに設定される。なお、εは0による割り算を回避するために予め定めた定数である。 Here, f n, p is the non-overlapping degree of the nth person in the pixel p, N is the number of persons included in the target silhouette, and M is the number of candidate areas generated for one person. Further, p represents a pixel, and In , m, and p are pixel values of the pixel p in the candidate area image representing the mth candidate area of the nth person. En, m are candidate evaluation values calculated for the mth candidate region of the nth person. However, en, m in the formula (1) is a candidate evaluation value calculated in the first iteration. In the first iteration, en , m = 1 / M is set. Note that ε is a constant determined in advance to avoid division by zero.
図5は候補領域画像421から各人物Hnの非重複度fn,pを算出する様子を示す模式図である。図6は図5に対応して算出された各人物Hnの非重複度fn,pの例を示す模式図である。図5において、グラフ435は3人の人物H1〜H3についての合計300枚の候補領域画像から生成される非重複度fn,pを示している。画素pを画像におけるx座標,y座標の組(x,y)で表すと、図5には例としてp=(50,74)とp=(50,74)における非重複度fn,pのグラフ435が示されている。
FIG. 5 is a schematic diagram showing how the non-overlap degree f n, p of each person H n is calculated from the
図5の画像436は、非重複度fn,p(n=1〜3)を画素値としたものであり、図6(a)〜(c)のグラフはそれぞれ図5の画像436における直線y=74に沿ったf1,p,f2,p,f3,pの例を示している。
The
注目人物の候補領域しか存在しない画素位置での非重複度は1となり、注目人物以外の候補領域しか存在しない画素位置での非重複度は0となる。また、注目人物と他の人物の候補領域が重なる画素位置での非重複度は0より大きく1未満の値となり、注目人物と他の人物のどちらも存在し得る画素位置として表現される。他人の非重複度が高い位置は他人がいる可能性が高く、他人の非重複度が低い位置は他人がいる可能性が低いことを意味する。この非重複度とシルエットを利用して、注目人物ごとに、シルエット内における注目人物の候補領域と他人の存在可能性との関係を評価することで単独人物単位での姿勢推定が可能となる。 The non-overlap degree at the pixel position where only the candidate area of the person of interest exists is 1 and the non-overlap degree at the pixel position where only the candidate area other than the person of interest exists is 0. Further, the non-overlap degree at the pixel position where the target area of the target person and another person overlaps is a value greater than 0 and less than 1, and is expressed as a pixel position where both the target person and the other person can exist. A position where the non-overlap degree of another person is high means that there is a high possibility that another person is present, and a position where the non-overlap degree of another person is low means that the possibility that there is another person is low. By using the non-overlapping degree and the silhouette, by evaluating the relationship between the candidate area of the target person in the silhouette and the possibility of existence of another person for each target person, posture estimation can be performed in units of individual persons.
なお、いずれの人物の候補領域も存在しない画素位置での非重複度は1/Nとなり、どの人物も等しく存在し得る画素位置として表現される。 Note that the non-overlap degree at a pixel position where no candidate region of any person exists is 1 / N, and it is expressed as a pixel position where any person can exist equally.
評価値算出手段431は非重複度とシルエットとを基に、候補領域の候補評価値を算出する。候補評価値が高い候補領域ほど当該候補領域が表す姿勢が正しい可能性が高い。具体的には評価値算出手段431は第n人物の第m候補領域の候補評価値en,mを次式により算出する。
The evaluation
ここで、tは反復回数を表すカウンタであり、en,m,tは今回の反復において第n人物の第m候補領域に対して算出する候補評価値、またen,m,t−1は1回目の反復において第n人物の第m候補領域に対して算出された候補評価値である。λはd1とd2のバランスを調整するパラメータ(正の実数)であり、実験等に基づき予め設定される。式(3),(4)において、Pは画像を構成する画素の集合であり、具体的には監視画像の画素全体であって、式(3),(4)の右辺の和ΣはPに含まれる全ての画素pについての総和を取ることを意味する。また、In,m,pは第n人物の第m候補領域を表す候補領域画像における画素pの画素値であり、zpはシルエット内の画素値である。なお、既に述べたようにfn,pは画素pにおける第n人物の非重複度、Mは各人物に対して生成した候補領域数である。 Here, t is a counter representing the number of iterations, and en , m, t are candidate evaluation values calculated for the mth candidate region of the nth person in this iteration, and en, m, t-1 Is a candidate evaluation value calculated for the mth candidate area of the nth person in the first iteration. λ is a parameter (positive real number) for adjusting the balance between d 1 and d 2 and is set in advance based on experiments or the like. In Expressions (3) and (4), P is a set of pixels constituting the image, specifically, the entire pixels of the monitoring image, and the sum Σ on the right side of Expressions (3) and (4) is P This means that the sum of all the pixels p included in is taken. Also, I n, m, p is the pixel value of the pixel p in the candidate region image representing an m-th candidate region of the n persons, z p is a pixel value in the silhouette. As already described, f n, p is the non-overlap degree of the nth person in the pixel p, and M is the number of candidate areas generated for each person.
図7は第1人物H1の第1候補領域A1,1に対する評価値算出の様子を示す模式的な画像である。図7において、斜線の領域は人物H1の候補領域A1,1の外で、且つシルエット内である領域であり、黒の塗り潰しの領域は人物H1の候補領域A1,1の内側で、且つシルエット外である領域である。 Figure 7 is a schematic image showing the state of the evaluation value calculation for the first candidate region A 1, 1 of the first person H 1. In FIG. 7, the shaded area is outside the candidate area A 1,1 of the person H 1 and within the silhouette, and the black area is inside the candidate area A 1,1 of the person H 1. And an area outside the silhouette.
式(4)に示すd2について説明する。既に述べたように候補領域内の画素値を1とするので、(1−In,m,p)は第n人物の第m候補領域外で1になる。zpはシルエット内で1になる(連続値のシルエット画像を用いる場合は0より大きく1以下の値となる)。つまり評価値算出手段431は式(4)により第n人物の第m候補領域外且つシルエット内の領域にて第n人物の非重複度を累積してd2を算出する。累積は第n人物の第m候補領域外で行うのであるから第n人物の第m候補領域以外の領域である残余領域についての非重複度を累積することになる。こうして算出するd2は、注目する候補領域の外側に他の候補領域との重複が少ないシルエット画素が存在する度合いであるから、注目する候補領域の外側に注目する人物の領域が存在する可能性を表す。換言するとd2は注目する候補領域のエラー度合いを表す。そこで、評価値算出手段431は、d2が大きいほど候補評価値en,mを低めるために、式(1)に示したようにexp(−λd2)に応じた候補評価値en,mを算出する。
The d 2 shown in the formula (4) will be described. As described above, since the pixel value in the candidate area is 1, (1-I n, m, p ) is 1 outside the mth candidate area of the nth person. z p becomes 1 in the silhouette (when a silhouette image having a continuous value is used, it becomes a value greater than 0 and less than or equal to 1). That is, the evaluation
すなわち、候補領域評価手段43は、各物体の候補領域ごとに、シルエット内かつ当該候補領域外における当該物体に関する重複度合いが高いほど高い候補評価値を算出する。
That is, for each candidate region of each object, the candidate
このように、注目物体の候補領域を、他の物体について生成した複数の候補領域を用いて評価できる候補評価値を設けたことにより、候補領域の組み合わせを一つ一つマッチングする必要が無くなる。 In this way, by providing candidate evaluation values that can evaluate candidate regions of a target object using a plurality of candidate regions generated for other objects, it is not necessary to match each combination of candidate regions.
次に式(3)に示すd1について説明する。式(3)右辺の(1−zp)はシルエット外で1になる。つまり評価値算出手段431は式(3)によりシルエット外で第n人物の第m候補領域画像の画素値を累積してd1を算出する。こうして算出するd1は第n人物について生成された第m候補領域のシルエットからのはみ出し度合いである。そこで、評価値算出手段431は、はみ出し度合いd1が大きいほど候補評価値en,mを低めるために、式(1)に示したようにexp(−d1)を乗じて候補評価値en,mを算出する。
Next, d 1 shown in Expression (3) will be described. (1-z p ) on the right side of Equation (3) is 1 outside the silhouette. That is, the evaluation
なお、第n人物の第m候補領域内における第n人物以外についての非重複度を累積して、その累積値とはみ出し度合いとの和をd1とすることもできる。 Incidentally, by accumulating non multiplicity of other n-th person in the m candidate region of the n persons, it may be the sum of the degree protrusion and the accumulated value d 1.
すなわち、候補領域評価手段43は、各物体の候補領域ごとに、シルエットからのはみ出し度合いを算出し、当該はみ出し度合いが高いほど候補評価値を低く補正する。
That is, the candidate
式(2)の右辺において、1回目の反復において算出した候補評価値en,m,t−1を乗じている。すなわち、候補領域評価手段43は、式(1)にて重複度合いの更新に用いた候補評価値に対し、更新された重複度合いをd2を介して反映させる修正を行って、更新された候補評価値を得る。この演算によって、候補評価値の急激な変化や振動を抑制することができ、安定した姿勢推定を行うことができる。
On the right side of Equation (2), the candidate evaluation values en , m, t−1 calculated in the first iteration are multiplied. That is, the candidate
なお、式(5)は人物間で候補評価値の格差が生じないようにするための正規化であり、各人物の各候補評価値を当該人物のM個の候補評価値の合計で除算する。 Note that equation (5) is normalization for preventing a difference in candidate evaluation values between persons, and each candidate evaluation value of each person is divided by the sum of the M candidate evaluation values of the person. .
ここで、一度候補評価値を算出しただけでは注目する人物の候補領域の候補評価値に当該人物の他の候補領域に対する候補評価値がフィードバックされないため、最良の候補領域を選出できない場合がある。これを改善するために非重複度の算出と候補評価値の算出を反復させる。 Here, once the candidate evaluation value is calculated, the candidate evaluation value for the other candidate area of the person is not fed back to the candidate evaluation value of the candidate area of the person of interest, so the best candidate area may not be selected. In order to improve this, the calculation of the non-overlap degree and the calculation of the candidate evaluation value are repeated.
具体的には、反復制御手段432が次のB1〜B4のいずれかの終了条件を満たすまで当該反復を繰り返す。
Specifically, the repetition is repeated until the
(B1)反復回数が予め定めたしきい値Tに達する。 (B1) The number of iterations reaches a predetermined threshold value T.
(B2)前回候補評価値と今回候補評価値の差が予め定めたしきい値η以下となる。 (B2) The difference between the previous candidate evaluation value and the current candidate evaluation value is equal to or less than a predetermined threshold value η.
(B3)人物ごとに前回候補評価値の最小値と今回候補評価値の最小値の差を求め、求めた差の総和をしきい値ηと比較する。 (B3) For each person, the difference between the minimum value of the previous candidate evaluation value and the minimum value of the current candidate evaluation value is obtained, and the sum of the obtained differences is compared with a threshold value η.
(B4)反復回数が予め定めたしきい値Tに達する、または前回候補評価値と今回候補評価値の差が予め定めたしきい値η以下となる。 (B4) The number of iterations reaches a predetermined threshold T, or the difference between the previous candidate evaluation value and the current candidate evaluation value is equal to or less than a predetermined threshold η.
姿勢決定手段44は候補領域評価手段43が算出した候補評価値を参照し、人物ごとに、候補評価値が最も高い候補領域が示す姿勢を当該人物の姿勢に決定し、異常検知手段46に出力する。すなわち、姿勢決定手段44は第n人物について算出されたM個の候補評価値en,mのうちの最大値を与える第m候補領域に関連付けられた姿勢パラメータを当該人物の姿勢に決定して出力する。
The
単数人シルエット処理手段45はシルエット内の人物数が1人と判定されたときに、当該人物の姿勢を判定する。単数人シルエット処理手段45は人物モデルの姿勢パラメータを微小変動させては人物モデルとシルエットとの形状マッチングを行って、姿勢パラメータごとの一致度を算出する処理を繰り返し、最大の一致度を与える姿勢パラメータを決定して異常検知手段46に出力する。 The singular person silhouette processing means 45 determines the posture of the person when the number of persons in the silhouette is determined to be one. The singular person silhouette processing means 45 repeats the process of calculating the degree of matching for each posture parameter by performing shape matching between the person model and the silhouette by slightly changing the posture parameter of the person model, and giving the maximum degree of matching. The parameter is determined and output to the abnormality detection means 46.
異常検知手段46は入力された姿勢が予め定めた異常姿勢であるか否かを判定し、異常姿勢であれば所定の異常信号を生成して出力部5に出力する。異常姿勢は例えば倒れている姿勢であり、姿勢パラメータのうち胴、左肢、右肢の角度がほぼ水平であれば異常姿勢と判定することができる。
The
[異常検知システム1の動作]
以下、異常検知システム1の動作を説明する。図8は異常検知システム1の動作の概略の全体フロー図である。異常検知システム1は監視空間が無人の状態で起動される。例えば、電源投入により各部が初期化され動作を開始する。初期化には起動直後の撮像部2からの監視画像を画像処理部4が背景画像として記憶部3(記憶手段30)に記憶させる処理を含む。
[Operation of Abnormality Detection System 1]
Hereinafter, the operation of the
初期化後、撮像部2は監視空間を撮像するたびに監視画像を出力し、画像処理部4はこれを取得する(ステップS1)。以下、最新の監視画像が入力された時刻を現時刻、最新の監視画像を現画像と呼ぶ。
After initialization, the
画像処理部4はシルエット抽出手段40として動作し、監視画像を背景差分処理してシルエットを抽出する(ステップS2)。画像処理部4はシルエットが抽出されたか否かを確認し(ステップS3)、抽出されていない場合は処理をステップS1に戻して次の監視画像の入力を待つ。
The
一方、シルエットが抽出された場合は処理はステップS4へ進み、画像処理部4はシルエット内人数判定手段41として動作する。
On the other hand, if the silhouette is extracted, the process proceeds to step S4, and the
まず、シルエット内人数判定手段41は、ステップS2にて抽出された現時刻のシルエットを一時刻前に抽出されたシルエットと対応付ける人物追跡処理を行う。そのためにシルエット内人数判定手段41は、シルエット内における監視画像の色ヒストグラムやテクスチャなどの画像特徴及びシルエットの重心位置、人物IDからなる人物情報を記憶部3に記憶させ、現時刻に抽出されたシルエットにおける現画像の画像特徴及び現時刻に抽出されたシルエットの重心位置を記憶部3に記憶されている人物情報と比較することにより画像特徴が類似し重心位置が移動可能範囲内であるシルエット同士を同一人物による領域であるとして対応付ける。
First, the in-silhouette number determination means 41 performs a person tracking process for associating the silhouette at the current time extracted in step S2 with the silhouette extracted one hour ago. For this purpose, the in-silhouette number determination means 41 stores the image information such as the color histogram and texture of the monitoring image in the silhouette and the person information including the position of the center of gravity of the silhouette and the person ID in the
このときシルエット内人数判定手段41は、画像上で人物同士が重なることを考慮し、重心位置が移動可能範囲内であることを条件に多対1の対応付けを許容する。多対1の対応付けにより複数の人物IDが対応付けられたシルエットに対しては統合を検出したとして人物情報にその旨を表す統合フラグを設定する。 At this time, the in-silhouette number determination means 41 allows many-to-one association on the condition that the position of the center of gravity is within the movable range in consideration of overlapping of persons on the image. For a silhouette in which a plurality of person IDs are associated by many-to-one association, an integration flag representing that is set in the person information, assuming that integration has been detected.
またシルエット内人数判定手段41は、人物同士の重なりが解消されることも考慮し、重心位置が移動可能範囲内であることを条件に1対多の対応付けも許容する。1対多の対応付けを行なったシルエットに対しては分離を検出したとして人物情報にその旨を表す分離フラグを設定する。 The in-silhouette number determination means 41 also allows for one-to-many association on the condition that the position of the center of gravity is within the movable range, considering that overlapping between persons is eliminated. For a silhouette that has been associated one-to-many, a separation flag is set in person information, assuming that separation has been detected.
尚、移動可能範囲が視野外を含み、類似するシルエットが無い人物情報は消失したとして削除される。また、いずれの人物情報とも類似しないシルエットは新規出現したとしてその画像特徴と重心位置からなる人物情報に新たな人物IDと新規出現フラグを付与して記憶部3に追記される。
It should be noted that the person information including the out-of-view range and having no similar silhouette is deleted as it disappears. Further, it is assumed that a silhouette that does not resemble any person information newly appears, and a new person ID and a new appearance flag are added to the person information including the image feature and the center of gravity position, and the silhouette is added to the
シルエット内人数判定手段41は上述の人物追跡処理における対応付けの結果から、ステップS2にて抽出された各シルエットに含まれる人数を判定する(ステップS4)。 The number-of-silhouettes determination means 41 determines the number of persons included in each silhouette extracted in step S2 from the result of association in the person tracking process described above (step S4).
画像処理部4はステップS2にて抽出されたシルエットを順次、注目シルエットに設定して(ステップS5)、ステップS6〜S9の処理を行うループ処理を実行する。
The
シルエット内人数判定手段41は注目シルエットに対してステップS4で判定した人数が複数か単数かを確認し(ステップS6)、複数の場合は注目シルエットのシルエット画像を候補領域生成手段42に出力して処理をステップS7に進める。一方、単数の場合は注目シルエットのシルエット画像を単数人シルエット処理手段45に出力して処理をステップS8に進める。 The in-silhouette number determination means 41 confirms whether the number of persons determined in step S4 for the attention silhouette is plural or singular (step S6). If there are a plurality of silhouettes, the silhouette image of the attention silhouette is output to the candidate area generation means 42. The process proceeds to step S7. On the other hand, if the number is singular, the silhouette image of the target silhouette is output to the singular person silhouette processing means 45, and the process proceeds to step S8.
ステップS7では画像処理部4は注目シルエットに対して複数人シルエット処理を行う。図9は複数人シルエット処理の概略の処理フロー図である。
In step S7, the
画像処理部4は候補領域生成手段42として動作し、注目シルエットに対してステップS4で判定されたN人の人物それぞれについてM個ずつの候補領域を生成し、N×M個の候補領域画像を候補領域評価手段43に出力する(ステップS70)。
The
画像処理部4は候補領域評価手段43の評価値算出手段431として動作し、N×M個の候補領域をそれぞれに対して候補評価値en,mを用意し、各評価値の値を1/Mに初期化する(ステップS71)。また、画像処理部4は候補領域評価手段43の反復制御手段432として動作し、反復回数tを1に初期化する(ステップS72)。そして、画像処理部4は候補領域評価手段43として動作し、非重複度および候補評価値を更新するループ処理(ステップS73〜S76)を実行して各人物の候補領域ごとに候補評価値en,mを定める。
The
ステップS73では画像処理部4は候補領域評価手段43の非重複度算出手段430として動作し、式(1)に従い、各人物(n=1〜N)について各画素の非重複度fnを算出する。その際、t=1のときはステップS71で設定した初期値をt=0のときの候補評価値en,mとみなし、式(1)の右辺の計算に用いる。
In step S73, the
ステップS74では画像処理部4は候補領域評価手段43の評価値算出手段431として動作する。評価値算出手段431は、式(2)〜(5)に従い、各人物(n=1〜N)の候補領域ごと(m=1〜M)に、第t反復における候補評価値en,mを算出する。
In step S <b> 74, the
第t反復における候補評価値en,mの算出が完了すると、反復制御手段432は反復回数tを1だけ増加させ(ステップS75)、反復終了条件を満たしているか確認する(ステップS76)。本実施形態では前回候補評価値en,m,t−1と今回候補評価値en,m,tの差Δeを求めてしきい値ηと比較し、また反復回数tをしきい値Tと比較する。そして、候補評価値の差Δeが閾値η以下、または反復回数tがしきい値Tより大きければ反復終了条件を満たしたとして処理をステップS77に進める。一方、候補評価値の差Δeが閾値ηより大きい、且つ反復回数tがしきい値T以下であれば反復終了条件を満たしていない処理をステップS73に戻す。
When the calculation of the candidate evaluation values en , m in the t-th iteration is completed, the
ステップS77では画像処理部4は姿勢決定手段44として動作し、人物ごとに、反復終了時点の候補評価値の中から最大値を求め、最大値が算出された候補領域に関連付けられている姿勢パラメータが当該人物の姿勢を表すと決定する。姿勢決定手段44は決定した各人物の姿勢を異常検知手段46に出力し、画像処理部4は処理を図8のステップS9に進める。
In step S77, the
一方、ステップS6にて単数人シルエットと判定された場合、画像処理部4は単数人シルエット処理手段45として動作し、注目シルエットに最も適合する姿勢パラメータを求めて、求めた姿勢パラメータを異常検知手段46に出力する(ステップS8)。そして、画像処理部4は処理をステップS9に進める。
On the other hand, if it is determined in step S6 that the silhouette is a singular person, the
画像処理部4は全てのシルエットを処理した否かを確認し(ステップS9)、処理し終えていない場合は処理をステップS5に戻して次のシルエットを処理する。
The
一方、処理し終えた場合は画像処理部4は処理をステップS10に進め、異常検知手段46として動作する。異常検知手段46は、ステップS7にて姿勢決定手段44から入力された姿勢パラメータおよびステップS8にて単数人シルエット処理手段45から入力された姿勢パラメータのそれぞれが異常姿勢であるか否かを判定し、1つでも異常姿勢と判定されたら(ステップS10)、異常検知手段46は異常信号を生成して出力部5に出力する(ステップS11)。異常信号を入力された出力部5は異常信号を警備センターに転送する。
On the other hand, when the processing is completed, the
一方、ステップS10にて、1つも異常姿勢と判定されなければステップS11はスキップされる。 On the other hand, if no abnormal posture is determined in step S10, step S11 is skipped.
以上の処理を終えると画像処理部4は処理をステップS1に戻して次の監視画像の入力を待つ。
When the above processing is completed, the
[候補領域生成手段42の変形例]
上記実施形態の候補領域生成手段42はシルエットとの一致度に基づき候補領域を生成する構成であって、一致度が上位M位までの候補領域を生成している。ここで、シルエットとの一致度に基づき候補領域を生成する候補領域生成手段42の他の構成として、以下にマルコフ連鎖モンテカルロ(Markov Chain Monte Carlo:MCMC)法によりサンプリングするものと、一致度最大の姿勢を基準にサンプリングするものとを説明する。
[Modification of Candidate Area Generation Unit 42]
The candidate area generating means 42 of the above embodiment is configured to generate a candidate area based on the degree of coincidence with the silhouette, and generates candidate areas up to the top M degree of coincidence. Here, as another configuration of the candidate region generating means 42 for generating a candidate region based on the degree of coincidence with the silhouette, the following sampling by the Markov Chain Monte Carlo (MCMC) method and the maximum degree of coincidence are performed. What is sampled based on posture will be described.
(a1)MCMC法によりサンプリングする構成
乱数により人物モデルの姿勢パラメータを変更しては、人物モデルの投影像とシルエットとの一致度を算出する処理を繰り返し、変更後の一致度が変更前の一致度よりも上昇した場合に変更後の投影像を候補領域とし、および一致度が下降した場合も所定確率にて変更後の投影像を候補領域とする。そしてこの繰り返しを候補領域がM個に達するまで行う。なお、姿勢パラメータの初期値は所定規則に基づいて設定する。
(A1) Configuration of sampling by MCMC method After changing the posture parameter of the person model with a random number, the process of calculating the degree of coincidence between the projected image of the person model and the silhouette is repeated, and the degree of coincidence after the change is the same before the change When the degree of increase is higher than the degree, the changed projection image is set as a candidate area, and when the degree of coincidence is lowered, the changed projection image is set as a candidate area with a predetermined probability. This is repeated until the number of candidate areas reaches M. The initial value of the posture parameter is set based on a predetermined rule.
(a2)一致度最大の姿勢を基準にサンプリングする構成
他の部位と比較して面積(体積)の大きな胴について一致度が最大の姿勢パラメータを決定し、胴以外の部位の姿勢パラメータを、決定した胴部を基準としたとり得る範囲内にて一定間隔でM通り設定する。そして、設定したM通りの姿勢パラメータが表す投影像を候補領域とする。または、全部位について一致度が最大の姿勢パラメータを決定し、決定した姿勢パラメータを基準としたとり得る範囲内にて一定間隔で他の部位の姿勢パラメータをM通り設定してもよい。
(A2) Configuration of sampling based on posture with maximum matching degree Determine posture parameter with maximum matching degree for body with large area (volume) compared to other parts, and determine posture parameters of parts other than body The number M is set at regular intervals within a possible range based on the barrel portion. A projection image represented by the set M posture parameters is set as a candidate area. Alternatively, the posture parameter having the maximum degree of coincidence may be determined for all the parts, and the posture parameters of other parts may be set at regular intervals within a possible range based on the determined posture parameter.
また、候補領域生成手段42は以下に示す(b1)、(b2)のようにシルエットとの一致度に依らない候補領域を生成する構成とすることもできる。この構成は一致度に基づいて候補領域を生成する構成よりもMを大きく設定する必要があるが、候補領域生成手段42の処理を軽減できる。
Further, the candidate area generating means 42 may be configured to generate a candidate area that does not depend on the degree of coincidence with the silhouette as shown in (b1) and (b2) below. In this configuration, it is necessary to set M larger than the configuration in which the candidate region is generated based on the degree of coincidence, but the processing of the candidate
(b1)グリッドサンプリングに基づき候補領域を生成する構成
人物モデルの姿勢パラメータを、人物モデルの投影像の一部または全部がシルエットと重複する範囲内にて一定間隔でM通り設定する。そして、設定したM通りの姿勢パラメータが表す投影像を候補領域とする。
(B1) Configuration for Generating Candidate Areas Based on Grid Sampling M model posture parameters are set at regular intervals within a range where some or all of the projected images of the person model overlap the silhouette. A projection image represented by the set M posture parameters is set as a candidate area.
(b2)ランダムサンプリングに基づき候補領域を生成する構成
人物モデルの姿勢パラメータを、人物モデルの投影像の一部または全部がシルエットと重複する範囲内の乱数によりM通り設定する。そして、設定したM通りの姿勢パラメータが表す投影像を候補領域とする。
(B2) Configuration for Generating Candidate Areas Based on Random Sampling M model posture parameters are set by random numbers within a range in which a part or all of the projected image of the person model overlaps the silhouette. A projection image represented by the set M posture parameters is set as a candidate area.
上述のいずれの構成においても候補領域生成手段42は各物体について、シルエットと重複し、且つ表す姿勢が互いに異なる複数の候補領域を生成する。
In any of the above-described configurations, the candidate
[候補領域評価手段43の変形例]
上記実施形態の候補領域評価手段43では、式(2)に示すように候補評価値en,m,tを式(3)のd1を用いてシルエットからのはみ出し度合いが高いほど低く補正しているが、はみ出し度合いに代えて、又はそれに加えて、注目物体の候補領域内における重複度合いが高い(非重複度が低い)ほど候補評価値en,m,tを低く補正する構成とすることができる。またd1を用いた当該補正は省略することもできる。
[Modification of Candidate Area Evaluation Unit 43]
With candidate region evaluation means 43 of the embodiment, the candidate evaluation value e n as shown in equation (2), m, t and corrects the higher degree protrude from silhouette lower with d 1 of the formula (3) However, instead of or in addition to the degree of protrusion, the candidate evaluation value en , m, t is corrected to be lower as the degree of overlap in the candidate region of the target object is higher (the degree of non-overlap is lower). be able to. Further, the correction using d 1 can be omitted.
[姿勢決定手段44の変形例]
上記実施形態の姿勢決定手段44は、各人物の姿勢を候補評価値が最も高い候補領域に決定する。この構成は、人物ごとに、候補評価値が高い候補領域が示す姿勢ほど強く反映された姿勢を当該人物の姿勢に決定する姿勢決定手段の一例に過ぎず、姿勢決定手段44は以下の(c1)〜(c3)に示す他の構成とすることもできる。
[Modification of posture determination means 44]
The posture determination means 44 of the above embodiment determines the posture of each person as the candidate area with the highest candidate evaluation value. This configuration is merely an example of a posture determination unit that determines, for each person, the posture indicated by the candidate region having a higher candidate evaluation value as the posture of the person, and the
(c1)M通りの候補領域を各候補領域の候補評価値で重み付け平均して姿勢を決定する。すなわち、各人物のM通りの候補領域それぞれに対応付けられた姿勢パラメータを当該候補領域の候補評価値で重み付け平均して、重み付け平均した姿勢パラメータが表す姿勢を当該人物の姿勢に決定する。 (C1) The posture is determined by weighted averaging the M candidate areas with the candidate evaluation values of the candidate areas. That is, the posture parameters associated with each of the M candidate regions of each person are weighted and averaged with the candidate evaluation values of the candidate regions, and the posture represented by the weighted average posture parameter is determined as the posture of the person.
(c2)M通りの候補領域のうち、候補評価値が予め定めた閾値を超える候補領域を候補評価値で重み付け平均して姿勢を決定する。 (C2) Of the M candidate areas, the candidate areas whose candidate evaluation values exceed a predetermined threshold are weighted and averaged with the candidate evaluation values to determine the posture.
(c3)M通りの候補領域のうち、候補評価値が予め定めた順位までの候補領域を候補評価値で重み付け平均して姿勢を決定する。 (C3) Of the M candidate areas, the candidate areas up to the order in which the candidate evaluation values are set in advance are weighted and averaged with the candidate evaluation values to determine the posture.
さて本発明が解決しようとする課題として既に述べたように従来、複数人が一体化したシルエットに対して候補領域の組み合わせの数だけ形状マッチングを行う従来技術では、MのN乗回のマッチングが必要となり、人数に応じて指数関数的に計算量が増加していた。 As described above as the problem to be solved by the present invention, in the conventional technique in which the shape matching is performed by the number of combinations of candidate regions with respect to a silhouette in which a plurality of people are integrated, matching of M times N is performed. It was necessary, and the amount of calculation increased exponentially according to the number of people.
このような複数人姿勢推定における問題点に対し、本発明では、注目物体の各候補領域を他の物体の複数の候補領域を用いて評価する候補評価値を設け、これによって複数人姿勢推定を個人ごとの単独姿勢推定問題へと帰着させることが可能になった。 In order to solve such problems in multi-person posture estimation, the present invention provides candidate evaluation values for evaluating each candidate region of the object of interest using a plurality of candidate regions of other objects, thereby performing multi-person posture estimation. It became possible to return to the individual posture estimation problem for each individual.
帰着させた単独姿勢推定問題の解法は、人物ごとに候補評価値が最大の候補領域を選出するというものであり、選出した候補領域でシルエットをセグメンテーションすることに相当する。 The resulting solution of the single pose estimation problem is to select a candidate area having the maximum candidate evaluation value for each person, and corresponds to segmenting silhouettes in the selected candidate area.
そして、本発明ではさらに、反復制御によって単独人物姿勢推定とセグメンテーションとを交互に最適化することで姿勢推定の精度を向上させる。 In the present invention, the accuracy of posture estimation is further improved by optimizing single-person posture estimation and segmentation alternately by iterative control.
以上のように、本発明では、複数人姿勢推定問題を個人ごとの単独姿勢推定問題へと帰着させたことで、従来技術よりも大幅に少ない計算量での複数人姿勢推定を可能とした。例えば、3人の人物が撮像された画像に対し各々100通りの姿勢を試行する単独人物姿勢推定処理とセグメンテーションとからなる一連の処理を5回反復しても(100×3)×5=1500回のマッチングで済むことになる。 As described above, according to the present invention, the multi-person posture estimation problem can be reduced to a single individual posture estimation problem for each individual, thereby enabling multi-person posture estimation with a significantly smaller amount of calculation than in the prior art. For example, even if a series of processes consisting of a single person posture estimation process and a segmentation process, each of which tries 100 postures with respect to an image of three persons, is repeated five times (100 × 3) × 5 = 1500 Matching once will be enough.
1 異常検知システム、2 撮像部、3 記憶部、4 画像処理部、5 出力部、30 記憶手段、40 シルエット抽出手段、41 シルエット内人数判定手段、42 候補領域生成手段、43 候補領域評価手段、44 姿勢決定手段、45 単数人シルエット処理手段、46 異常検知手段、430 非重複度算出手段、431 評価値算出手段、432 反復制御手段。 1 anomaly detection system, 2 imaging unit, 3 storage unit, 4 image processing unit, 5 output unit, 30 storage unit, 40 silhouette extraction unit, 41 silhouette number determination unit, 42 candidate region generation unit, 43 candidate region evaluation unit, 44 posture determination means, 45 single person silhouette processing means, 46 abnormality detection means, 430 non-overlap degree calculation means, 431 evaluation value calculation means, 432 repetitive control means.
Claims (5)
前記画像から複数の前記物体が一体化したシルエットを抽出するシルエット抽出手段と、
前記各物体について、前記シルエットと重複し、且つ互いに異なる姿勢の候補領域を複数生成する候補領域生成手段と、
前記各物体について前記候補領域ごとに、当該候補領域外に生成された当該物体以外の前記候補領域が多いほど高い評価値を算出する候補領域評価手段と、
前記物体ごとに、前記評価値が高い候補領域が示す姿勢ほど強く反映された姿勢を当該物体の姿勢に決定する姿勢決定手段と、
を含むことを特徴とした姿勢推定装置。 A posture estimation device that estimates the posture of an object from an image of a predetermined object,
Silhouette extraction means for extracting a silhouette in which a plurality of the objects are integrated from the image;
For each object, candidate area generating means for generating a plurality of candidate areas that overlap the silhouette and have different postures;
For each candidate area for each object, candidate area evaluation means for calculating a higher evaluation value as the number of candidate areas other than the object generated outside the candidate area increases,
Posture determining means for determining, for each object, a posture reflected more strongly as the posture indicated by the candidate area having a higher evaluation value, as the posture of the object;
A posture estimation device characterized by comprising:
前記シルエット内の位置に対応付けて、前記各物体の前記複数の候補領域に対する当該物体以外の候補領域の重複度合いを算出する重複度算出手段を有し、
前記候補領域評価手段は、前記各物体の前記候補領域ごとに、当該候補領域外における当該物体に関する前記重複度合いが高いほど高い評価値を算出すること、
を特徴とする姿勢推定装置。 The posture estimation apparatus according to claim 1,
In correspondence with the position in the silhouette, the degree of overlap calculation means for calculating the degree of overlap of candidate areas other than the object with respect to the plurality of candidate areas of each object,
The candidate area evaluation means calculates, for each candidate area of each object, a higher evaluation value as the degree of overlap with respect to the object outside the candidate area increases.
A posture estimation device characterized by the above.
前記重複度算出手段は、算出された前記評価値が高い前記候補領域ほど高く重み付けて前記重複度合いを更新し、
前記候補領域評価手段は、更新された前記重複度合いに応じて前記評価値を更新すること、
を特徴とする姿勢推定装置。 The posture estimation apparatus according to claim 2,
The duplication degree calculation means updates the degree of duplication by weighting the candidate area having a higher calculated evaluation value,
The candidate area evaluation means updates the evaluation value according to the updated degree of duplication,
A posture estimation device characterized by the above.
前記候補領域評価手段は、前記重複度合いの更新に用いた前記評価値を、更新された前記重複度合いを反映して修正し、更新された前記評価値とすること、を特徴とする姿勢推定装置。 In the posture estimation apparatus according to claim 3,
The candidate area evaluation means corrects the evaluation value used for updating the degree of duplication to reflect the updated degree of duplication, and sets the updated evaluation value as the posture estimation device. .
前記候補領域評価手段は、前記各物体の前記候補領域ごとに、前記シルエットからのはみ出し度合いを算出し、当該はみ出し度合いが高いほど前記評価値を低く補正すること、を特徴とする姿勢推定装置。 In the posture estimation apparatus according to any one of claims 1 to 4,
The candidate area evaluation means calculates the degree of protrusion from the silhouette for each candidate area of each object, and corrects the evaluation value to be lower as the degree of protrusion is higher.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015049683A JP6166297B2 (en) | 2015-03-12 | 2015-03-12 | Posture estimation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015049683A JP6166297B2 (en) | 2015-03-12 | 2015-03-12 | Posture estimation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016170605A JP2016170605A (en) | 2016-09-23 |
JP6166297B2 true JP6166297B2 (en) | 2017-07-19 |
Family
ID=56983852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015049683A Active JP6166297B2 (en) | 2015-03-12 | 2015-03-12 | Posture estimation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6166297B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6968342B2 (en) * | 2017-12-25 | 2021-11-17 | オムロン株式会社 | Object recognition processing device, object recognition processing method and program |
JP2019169069A (en) * | 2018-03-26 | 2019-10-03 | Kddi株式会社 | Object separation device, method and program |
WO2019198696A1 (en) * | 2018-04-11 | 2019-10-17 | 株式会社アジラ | Action estimation device |
JP6525181B1 (en) | 2018-05-27 | 2019-06-05 | 株式会社アジラ | Behavior estimation device |
WO2021111522A1 (en) * | 2019-12-03 | 2021-06-10 | 日本電信電話株式会社 | Object candidate area estimation device, object candidate area estimation method, and object candidate area estimation program |
JPWO2023275940A1 (en) * | 2021-06-28 | 2023-01-05 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5657377B2 (en) * | 2010-12-28 | 2015-01-21 | セコム株式会社 | Anomaly detection device |
JP5743646B2 (en) * | 2011-03-30 | 2015-07-01 | セコム株式会社 | Anomaly detection device |
JP2014093023A (en) * | 2012-11-06 | 2014-05-19 | Canon Inc | Object detection device, object detection method and program |
-
2015
- 2015-03-12 JP JP2015049683A patent/JP6166297B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016170605A (en) | 2016-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6166297B2 (en) | Posture estimation device | |
US11360571B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
JP6942488B2 (en) | Image processing equipment, image processing system, image processing method, and program | |
US9330470B2 (en) | Method and system for modeling subjects from a depth map | |
US8355529B2 (en) | Motion capture apparatus and method, and motion capture program | |
JP6482195B2 (en) | Image recognition apparatus, image recognition method, and program | |
JP5675229B2 (en) | Image processing apparatus and image processing method | |
JP6525635B2 (en) | Image processing apparatus, image processing method and program | |
JP4951498B2 (en) | Face image recognition device, face image recognition method, face image recognition program, and recording medium recording the program | |
WO2004095373A2 (en) | Method and system for determining object pose from images | |
KR20130044099A (en) | Method of image processing and device thereof | |
CN108921062B (en) | Gait recognition method combining multiple gait features and cooperative dictionary | |
JP5027741B2 (en) | Image monitoring device | |
JP7354767B2 (en) | Object tracking device and object tracking method | |
ElSayed et al. | Ambient and wearable sensing for gait classification in pervasive healthcare environments | |
Martínez-González et al. | Residual pose: A decoupled approach for depth-based 3D human pose estimation | |
JP2009211122A (en) | Image processor and object estimation program | |
JP7488674B2 (en) | OBJECT RECOGNITION DEVICE, OBJECT RECOGNITION METHOD, AND OBJECT RECOGNITION PROGRAM | |
Li et al. | Unsupervised learning of human perspective context using ME-DT for efficient human detection in surveillance | |
ElSayed et al. | Body and visual sensor fusion for motion analysis in Ubiquitous healthcare systems | |
JP4942197B2 (en) | Template creation apparatus, facial expression recognition apparatus and method, program, and recording medium | |
Rasouli et al. | Dynamic posture estimation in a network of depth sensors using sample points | |
JP3811474B2 (en) | Face part position detection method and face part position detection apparatus | |
WO2024009532A1 (en) | Action recognition device, action recognition method, and action recognition program | |
CN114550209A (en) | Target following method and robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170622 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6166297 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |