JP5976198B2 - 人数計数装置および人数計数方法 - Google Patents

人数計数装置および人数計数方法 Download PDF

Info

Publication number
JP5976198B2
JP5976198B2 JP2015508305A JP2015508305A JP5976198B2 JP 5976198 B2 JP5976198 B2 JP 5976198B2 JP 2015508305 A JP2015508305 A JP 2015508305A JP 2015508305 A JP2015508305 A JP 2015508305A JP 5976198 B2 JP5976198 B2 JP 5976198B2
Authority
JP
Japan
Prior art keywords
circle
edge
person
candidate
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015508305A
Other languages
English (en)
Other versions
JPWO2014156733A1 (ja
Inventor
伊藤 渡
渡 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Application granted granted Critical
Publication of JP5976198B2 publication Critical patent/JP5976198B2/ja
Publication of JPWO2014156733A1 publication Critical patent/JPWO2014156733A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/168Segmentation; Edge detection involving transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Description

本発明は、対象領域に存在する人物の人数を計数する人数計数装置に関する。
従来の人数計数装置では、例えば、赤外線センサなどにより人物の有無を検知し、人物が存在した場合に装置内に設けたカウンタを増加させることで対象領域内の人物の数を計測することが行なわれる。
また、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal−Oxide Semiconductor)などといった固体撮像素子を搭載した撮像装置によって対象領域を撮像した画像(入力画像)を画像処理し、入力画像中の所定の物体を自動的に検出し、当該物体の位置や移動経路といった属性情報を基に何人の人物が存在するかを測定し、装置内に設けたカウンタを増加させることで対象領域内の人物の数を計測することが行なわれる。
一例として、特許文献1には、人を撮像した場合に画像の各部において期待される頭部の大きさ(頭部モデルの大きさに対するエッジの割合)に応じた頭部モデルを位置をずらしつつ設定し、設定された頭部モデルに基づいて、画像に含まれる人の頭部を抽出し、動画像に含まれる複数の画像の間で抽出された頭部を互いに関連付け、互いに関連付けられた頭部の軌跡の本数に基づいて、所定の条件(時間、領域)に該当する動画像に含まれる人数を計数する人数計数装置が開示されている。
特開2010−198566号公報
上述したような人数計数装置では、例えば赤外線センサによる方式であれば、人物の移動方向を認識していないので特定方向のみに移動する人物を計数することができなかったり、例えば画像処理手段による方式であれば、視野内に複数人物が重なって映った場合に正確な人数を計数することができなかったりする問題があった。
本発明は、このような従来の事情に鑑みて為されたもので、画像中に含まれる人物を精度よく計数することが可能な技術を提案することを目的とする。
本発明では、上記目的を達成するために、人数計数装置を以下のように構成した。 すなわち、本発明に係る人数計数装置では、対象領域の平面画像からエッジを抽出するエッジ抽出手段と、エッジ抽出手段により抽出されたエッジに基づいて、平面画像に含まれる円の候補を検出する円候補検出手段と、円候補検出手段により検出された円の候補毎に、当該円の候補のエッジを構成する複数のエッジ画素の各々について輝度勾配を算出し、各エッジ画素に係る輝度勾配の均一度が基準以上の高さを有する円の候補を人物の頭部であると判定する人物判定手段と、人頭部判定手段により人物の頭部であると判定された円の候補を計数する人数計数手段と、を備えた。
このような構成によれば、対象領域の平面画像に含まれる円の候補について、当該円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度から、当該円の候補が人物の頭部のような円形らしさを持つか否かを効果的に判断でき、平面画像に含まれる人物の人数を精度よく計数することが可能となる。
ここで、第1の例として、人物判定手段は、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度を表す指標として、各エッジ画素に係る輝度勾配の方向の分布が円の中心から放射状に分布する度合いを算出し、この算出結果を所定の閾値と比較することで、当該円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度が基準以上の高さを有するかを判断することとする。 これは、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の方向に着目し、各エッジ画素に係る輝度勾配が放射状に分布する度合いが高いもの(円形らしさが高いもの)を人物の頭部と判定するものである。
また、第2の例として、人物判定手段は、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度を表す指標として、各エッジ画素に係る輝度勾配の大きさのばらつき度合いを算出し、この算出結果を所定の閾値と比較することで、当該円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度が基準以上の高さを有するかを判断することとする。 これは、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の大きさに着目し、各エッジ画素に係る輝度勾配の大きさのばらつき度合いが低いもの(円形らしさが高いもの)を人物の頭部と判定するものである。
本発明によれば、対象領域の平面画像に含まれる円の候補について、当該円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度から、当該円の候補が人物の頭部のような円形らしさを持つか否かを効果的に判断でき、平面画像に含まれる人物の人数を精度よく計数することが可能となる。
本発明に係る人数計数装置を適用した監視装置の構成例を示す図である。 本発明に係る人数計数処理のフローチャートの例を示す図である。 (a)は入力画像の例を示す図であり、(b)はエッジ画像の例を示す図である。 (a)はi番目のエッジ画素(xi、yi)を通る円の例であり、(b)はi番目のエッジ画素(xi、yi)を通る円の分布を3次元ハフ空間で表現した例である。 (a)は各エッジ画素に係る輝度勾配の方向の分布が円の中心から放射状に分布する度合いが高い円の候補の例を示す図であり、(b)は前記分布の度合いが低い円の候補の例を示す図である。 (a)は各エッジ画素に係る輝度勾配の大きさのばらつき度合いが低い円の候補の例を示す図であり、(b)は前記ばらつきの度合いが高い円の候補の例を示す図である。 本発明に係る人数計数処理のフローチャートの他の例を示す図である。
本発明の一実施形態について図面を参照して説明する。 図1には、本発明に係る人数計数装置を適用した監視装置の構成例を示してある。 本例の監視装置は、撮像装置101と、映像入力回路102と、画像処理プロセッサ103と、プログラムメモリ104と、ワークメモリ105と、外部I/F回路106と、映像出力回路107と、データバス108と、指示装置109と、表示装置110を有している。 また、映像入力回路102と、画像処理プロセッサ103と、プログラムメモリ104と、ワークメモリ105と、外部I/F回路106と、映像出力回路107は、データバス108に接続されている。 撮像装置の構成としては、本例の構成の他にも、撮像装置制御のための装置や、各種外部記録装置等の構成要素を持つものも存在するが、説明を簡単にするために本例では省略している。
撮像装置101は、監視の対象となる領域を撮像する。撮像装置101により得られた監視領域の映像は、映像入力回路102へ与えられ、映像入力回路102を介してワークメモリ105へ記録される。本例では、監視領域を鉛直上方から見下ろす視点で撮像する。
画像処理プロセッサ103は、プログラムメモリ104に記録されているプログラムに従って、ワークメモリ105内に記録された映像を処理し、その処理結果を映像出力回路107を介して表示装置110へ表示する。また、画像処理プロセッサ103は、外部I/F回路106を介して入力される、例えばマウス、キーボードなど指示装置109を使ったオペレータからの指示に基づいて、プログラムのパラメータを変更や修正しながら前記した映像を処理する。また、画像処理プロセッサ103は、前記した映像に含まれる人物の人数を計数する人数計数処理を行う。
図2には、本例の監視装置による人数計数処理のフローチャートの例を示してある。ここで、鉛直上方から人物を撮影した平面画像における人物の頭部は、図3(a)に示すように円形の輪郭を有することに着目し、本例の人数計数処理では、映像から円形の輪郭を有する領域を見つけ出して処理することで、映像に含まれる人物の人数を計数する。
本例の人数計数処理では、画像入力ステップ201、物体エッジ抽出ステップ202、円形領域抽出ステップ203、人物特徴量算出ステップ204、物体候補判定ステップ205、物体追跡・軌跡検出ステップ206、軌跡評価・物体カウントステップ207、背景学習ステップ208を順に繰り返して実行する。
画像入力ステップ201では、撮像装置101で撮像された監視領域の映像中の或る1フレームの画像を取り込み、処理対象の入力画像とする。図3(a)は、入力画像の例であり、一人の人物303が鉛直上方から映されている。
物体エッジ抽出ステップ202では、入力画像に含まれる物体のエッジを抽出し、エッジ画像を生成する。図3(b)は、図3(a)の入力画像から生成されたエッジ画像の例である。エッジ画像は、エッジを表す所定値を持つエッジ画素と、他の所定値を持つ非エッジ画素とで構成される。
円形領域抽出ステップ203では、物体エッジ抽出ステップ202で生成されたエッジ画像から、円形のエッジ形状(輪郭)を有する領域を特定し、これを円の候補として抽出する。 本例では、以下のように、公知の一般化ハフ変換の技術を用いて、円形のエッジ形状を有する領域を特定する。 すなわち、エッジ画像に含まれるN個のエッジ画素のうち、或るi番目(iは、1〜Nの整数)のエッジ画素(xi、yi)を通る円(点(xi、yi)を円周上に有する円)を想定する。この円は、図4(a)に示すように、中心座標(x、y)及び半径rの3つのパラメータで表現することができる。ここで、或るエッジ画素(xi、yi)を通る円は無数に想定することができ、3つのパラメータ(x、y、r)からなる3次元ハフ空間を用いて表現すれば、エッジ画素(xi、yi)を通る円のパラメータの分布は、図4(b)に示すような分布となる。そこで、エッジ画像に含まれる全てのエッジ画素(点)について、その位置を通ると想定される円のパラメータの分布を調べ、分布が集中したパラメータを特定することで、円形のエッジ形状を有する領域(円の候補)を検出することができる。
具体的には、例えば、3次元ハフ空間上の各座標を表すパラメータ配列h[x][y][r]を用意して、全ての値を0に初期化しておく。そして、エッジ画像に含まれる全てのエッジ画素を順に対象とし、その位置を通ると想定される全ての円のパラメータ(x、y、r)に対応するパラメータ配列h[x][y][r]を1つずつ加算(投票)していく。全てのエッジ画素について上記の投票を終えたのち、パラメータ配列h[x][y][r]の値が大きい順(投票数が多い順)に所定数(例えば、10個以内)を選び出すことで、円形のエッジ形状を有する領域(円の候補)を検出することができる。
図3(b)のエッジ画像を例にすれば、人物の頭部302、左肩部302、右肩部303の各領域は、それぞれ一部又は全部に円形のエッジ形状を有するので、これら3つの各領域が円の候補として検出されることになる。
人物特徴量算出ステップ204では、円形領域抽出ステップ203で抽出された円の候補毎に人物特徴量を算出する。この人物特徴量は、円の候補(円形のエッジ形状を有する領域)が人物の頭部らしさをどの程度有するかを表す指標である。
本例では、人物特徴量を算出する対象となる円の候補のエッジにおける或るエッジ画素(xi、yi)について、入力画像における隣接画素間での輝度勾配のX方向成分dxi及びY方向成分dyiを算出する。ここで、エッジ画素(xi、yi)に係る輝度勾配のX方向成分dxiとしては、例えば、X方向の1つ前の画素(xi-1、yi)の輝度と1つ後の画素(xi+1、yi)の輝度の差分を用いることができる。また、エッジ画素(xi、yi)に係る輝度勾配の大きさのY方向成分dyiとしては、例えば、Y方向の1つ前の画素(xi、yi-1)の輝度と1つ後の画素(xi、yi+1)の輝度の差分を用いることができる。そして、円の候補のエッジを構成する各エッジ画素について算出した輝度勾配のX方向成分dxi及びY方向成分dyiから、これらのエッジ画素に係る輝度勾配の均一度Sを求め、これを円の候補が有する人物特徴量とする。
円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度Sは、例えば、円の中心から見た各エッジ画素に係る輝度勾配の方向が同一方向であるか、換言すれば、各エッジ画素に係る輝度勾配の方向の分布が円の中心から放射状に分布しているか、という尺度で表すことができる。
この場合には、例えば、円の中心(x0、y0)から見た各エッジ画素(xi、yi)の方向を表す角度値φiを(式1)により算出し、各エッジ画素(xi、yi)における輝度勾配の方向を表す角度値θiを(式2)により算出し、これら角度値φi,θiの差分絶対値を総和したスコアS1を(式3)により算出し、当該算出したスコアS1を人物特徴量として用いればよい。
上記のようにして算出されるスコアS1は、その値が小さいほど、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の方向の分布が円の中心から放射状に分布する度合いが高く、輝度勾配の均一度が高いことを表す。このため、スコアS1が小さいほど、円形らしさ(人物の頭部らしさ)が高いことになる。
物体候補判定ステップ205では、人物特徴量算出ステップ204で算出された人物特徴量に基づいて、円形領域抽出ステップ203で抽出された円の候補が人物の頭部であるか否かを判定する。 本例では、人物特徴量算出ステップ204で前記のスコアS1を人物特徴量として算出しており、その値が小さいほど円形らしさ(人物の頭部らしさ)が高いことを表すので、或る円の候補について算出されたスコアS1が所定の閾値T1に比べて小さい場合(閾値T1以下又は未満の場合)に、当該円の候補を構成する各エッジ画素に係る輝度勾配の均一度が基準以上の高さを有すると判断し、当該円の候補は人物の頭部であると判定する。
例えば、図5(a)に示すように、各エッジ画素に係る輝度勾配の方向の分布が円の中心から放射状に分布する度合いが高い場合には、スコアS1の値が小さくなるので人物の頭部であると判定されることになる。一方、図5(b)に示すように、各エッジ画素に係る輝度勾配の方向の分布が円の中心から放射状に分布する度合いが低い場合には、スコアS1の値が大きくなるので人物の頭部でないと判定されることになる。
図3(b)のエッジ画像を例にすれば、円の候補として検出された3つの領域302,303,304のうち、領域302は、円形らしさが高い(スコアS1の値が小さい)ので人物の頭部である判定されるが、領域303,304は、いずれも円形らしさが低い(スコアS1の値が大きい)ので人物の頭部でないと判定される。
また、本例の人数計数処理では、入力画像から動く物体を取り除いた背景画像を用意し、この背景領域についても物体エッジ抽出ステップ202や円形領域抽出ステップ203等を行って円の候補(円形のエッジ形状を有する領域)を抽出しており、物体候補判定ステップ205は、背景画像から抽出された円の候補を除いて上記の判定を行う。すなわち、背景画像から抽出された円の候補は、背景の要素(床面の模様など)とみなすこととし、円形らしさが非常に高い場合であっても人物の頭部とは判定しないようにする。
物体追跡・軌跡検出ステップ206では、過去の入力画像において人物と判定された円の候補と、今回の入力画像において人物と判定された円の候補とに基づいて、人物(円形のエッジ領域)の移動を追跡して、その軌跡を検出する。
軌跡評価・物体カウントステップ207では、物体追跡・軌跡検出ステップ206で検出された移動の軌跡を評価して、入力画像に含まれる人物の人数を計数する。本例では、軌跡の本数を計数し、これを人物の人数とする。
背景学習ステップ208では、今回の入力画像を利用して背景画像を更新する。具体的には、今回の入力画像に所定の係数αを乗じた画像と、今回の背景画像に(1−α)を乗じた画像とを合成(加算)し、これを次回の背景画像に用いるようにする。これにより、入力画像中の動く物体(人物等)を取り除いた最新の背景画像を得ることができる。
以上のように、本例の人数計数処理では、監視領域を上方から撮影した平面画像を取り込む処理(画像入力ステップ201)と、平面画像からエッジを抽出する処理(物体エッジ抽出ステップ202)と、抽出したエッジに基づいて、平面画像に含まれる円の候補(円形のエッジ形状を有する領域)を検出する処理(円形領域抽出ステップ203)と、検出した円の候補毎に、当該円の候補のエッジを構成する複数のエッジ画素の各々について輝度勾配を算出し、各エッジ画素に係る輝度勾配の均一度を示す指標値を算出する処理(人物特徴量算出ステップ204)と、算出した指標値を所定の閾値と比較して、円の候補が人物の頭部であるか否かを判定する処理(物体候補判定ステップ205)と、人物の頭部であると判定された円の候補に基づいて、平面画像に含まれる人物の人数を計数する処理(物体追跡・軌跡検出ステップ206及び軌跡評価・物体カウントステップ207)と、平面画像に含まれる背景の要素の除外に用いる背景画像を更新する処理(背景学習ステップ208)と、を行う。
このような人数計数処理によれば、監視領域の平面画像に含まれる円の候補について、当該円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度から、当該円の候補が人物の頭部のような円形らしさを持つか否かを効果的に判断でき、平面画像に含まれる人物の人数を精度よく計数することができる。
なお、上記の各ステップ201〜208は、撮像装置101で撮像された監視領域の映像中の1フレームの画像毎に行ってもよく、所定数のフレームの画像毎に行ってもよい。 また、上記の例では、監視領域の平面画像に含まれる人物の人数の計数精度を高めるため、物体追跡・軌跡検出ステップ206で検出された移動の軌跡の本数を計数し、これを人物の人数としているが、物体候補判定ステップ205で人物の頭部であると判定された円形のエッジ領域の個数を計数し、これを人物の人数としても構わない。
また、上記の例では、人物特徴量算出ステップ204において、円の候補が有する人物的特徴量として、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の方向の分布が円の中心から放射状に分布する度合いを示す指標値を算出したが、以下のように、他の指標値を人物特徴量として算出してもよい。
一例として、人物特徴量として、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の大きさのばらつき度合いを示す指標値を算出する場合について説明する。 この場合には、例えば、人物特徴量を算出する対象となる円の候補のエッジにおける或るエッジ画素(xi、yi)について、入力画像における隣接画素間での輝度勾配のX方向成分dxi及びY方向成分dyiを算出する。ここで、エッジ画素(xi、yi)に係る輝度勾配のX方向成分dxiとしては、例えば、X方向の1つ前の画素(xi-1、yi)の輝度と1つ後の画素(xi+1、yi)の輝度の差分を用いることができる。また、エッジ画素(xi、yi)に係る輝度勾配の大きさのY方向成分dyiとしては、例えば、Y方向の1つ前の画素(xi、yi-1)の輝度と1つ後の画素(xi、yi+1)の輝度の差分を用いることができる。
そして、これらを用いて、エッジ画素(xi、yi)に係る輝度勾配の大きさdiを(式4)により算出する。また、円の候補の領域を所定角度ずつ扇状に分割した複数の扇状領域について、扇状領域毎にその領域内の各エッジ画素に係る輝度勾配の大きさdiを総和する。ここでは、円の候補の領域の分割数(扇状領域の数)をMとし、或るj番目の扇状領域(jは、1〜Mの整数)におけるエッジ画像に係る輝度勾配の大きさの総和gjを算出する。そして、円の候補のエッジを構成するエッジ画素の総数をnとして、各々の扇状領域について算出した総和gjに関するエントロピーを表すスコアS2を(式5)により算出し、当該算出したスコアS2を円の候補が有する人物特徴量として用いればよい。
上記のようにして算出されるスコアS2は、その値が小さいほど、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の大きさのばらつき度合いが低く、輝度勾配の均一度が高いことを表す。このため、スコアS2が小さいほど、円形らしさ(人物の頭部らしさ)が高いことになる。従って、後続の物体候補判定ステップ205では、或る円の候補について算出されたスコアS2が所定の閾値T2に比べて小さい場合(閾値T2以下又は未満の場合)に、当該円の候補を構成する各エッジ画素に係る輝度勾配の均一度が基準以上の高さを有すると判断し、当該円の候補は人物の頭部であると判定すればよい。
図6には、円の候補の領域を8分割(M=8)した場合の例を示してある。 例えば、図6(a)に示すように、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の大きさのばらつき度合いが低い場合には、スコアS2の値が小さくなるので人物の頭部であると判定されることになる。一方、図6(b)に示すように、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の大きさのばらつき度合いが高い場合には、スコアS2の値が大きくなるので人物の頭部でないと判定されることになる。
なお、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の方向に関する指標であるスコアS1と、円の候補のエッジを構成する各エッジ画素に係る輝度勾配の大きさに関する指標であるスコアS2とをそれぞれ算出し、スコアS1,S2のいずれか一方が各閾値T1,T2に比べて低い場合に、円の候補は人物の頭部であると判定してもよく、或いは、スコアS1,S2の両方が各閾値T1,T2に比べて低い場合に、円の候補は人物の頭部であると判定してもよい。また、スコアS1,S2のそれぞれに所定の重み値β1,β2を乗じて加算した結果S1,2を所定の閾値T1,2と比較して、円の候補は人物の頭部であるか否かを判定してもよい。
ここで、以上の説明で用いた監視装置では、本発明に係るエッジ抽出手段の処理を物体エッジ抽出ステップ202により実現し、本発明に係る円候補検出手段の処理を円形領域抽出ステップ203により実現し、本発明に係る人物判定手段の処理を人物特徴量算出ステップ204及び物体候補判定ステップ205により実現し、本発明に係る人数計数手段の処理を物体追跡・軌跡検出ステップ206及び軌跡評価・物体カウントステップ207により実現している。
なお、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。 図7には、他の構成の一例として、撮像装置101のレンズとして魚眼レンズを用いる場合における人数計数処理のフローチャートの例を示してある。ここで、魚眼レンズを用いる場合には広い画角の映像を撮像することができるが、画像の中心から離れるほど歪が大きくなり、画像周縁付近では本来円形に近い形状であるはずの人物の頭部が歪んだ状態で撮像されるため、円形領域抽出ステップ203における円の候補の抽出に影響がでてしまう。
そこで、図7の例では、円形領域抽出ステップ203の前に、エッジ画像に対して魚眼レンズによる歪の逆方向の歪を加える魚眼補正を行う魚眼補正ステップ211を実施するようにした。これにより、魚眼レンズによる歪を補正(低減)したエッジ画像に対して円の候補の検出を行なえる。この結果、広い画角の画像から円(人物の頭部)の候補を的確に検出することができるので、広範な監視領域を設定しつつ、その領域内に存在する人物を精度よく計数することが可能となる。
なお、図7の例では、物体エッジ抽出ステップ202の後に魚眼補正ステップ211を配置して、物体エッジ抽出ステップ202で生成されたエッジ画像に対して魚眼補正を行うようにしてあるが、画像入力ステップ201の後に魚眼補正ステップ211を配置して、画像入力ステップ201で取り込んだ入力画像に対して魚眼補正を行い、その結果の画像から物体エッジ抽出ステップ202でエッジ画像を生成するようにしてもよい。
ここで、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記憶する記憶媒体などとして提供することも可能である。
本発明に係る人数計数装置(或いはその方法やプログラム等)は、対象領域に存在する人物の人数を計数する種々の場面に適用することができる。
101:撮像装置、 102:映像入力回路、 103:画像処理プロセッサ、 104:プログラムメモリ、 105:ワークメモリ、 106:外部I/F回路、 107:映像出力回路、 108:データバス、 109:指示装置、 110:表示装置、 201:画像入力ステップ、 202:物体エッジ抽出ステップ、 203:円形領域抽出ステップ、 204:人物特徴量算出ステップ、 205:物体候補判定ステップ、 206:物体追跡・軌跡検出ステップ、 207:軌跡評価・物体カウントステップ、 208:背景学習ステップ208、 211:魚眼補正ステップ

Claims (6)

  1. 対象領域を上方から撮影した平面画像からエッジを抽出するエッジ抽出手段と、
    前記エッジ抽出手段により抽出されたエッジに基づいて、前記平面画像に含まれる円の候補を検出する円候補検出手段と、
    前記円候補検出手段により検出された円の候補毎に、当該円の候補のエッジを構成する複数のエッジ画素の各々について輝度勾配を算出し、各エッジ画素に係る輝度勾配の均一度を表す指標として、各エッジ画素に係る輝度勾配の大きさのばらつき度合いを算出し、この算出結果を所定の閾値と比較することで、人物の頭部であるかどうかを判定する人物判定手段と、
    前記人判定手段により人物の頭部であると判定された円の候補を計数する人数計数手段と、
    を備えたことを特徴とする人数計数装置。
  2. 前記人物判定手段は、前記円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度を表す指標として、各エッジ画素に係る輝度勾配の大きさのばらつき度合いに加えて輝度勾配の方向の分布が円の中心から放射状に分布する度合いを算出し、各エッジ画素に係る輝度勾配の大きさのばらつき度合いと、輝度勾配の方向の分布が円の中心から放射状に分布する度合いとの算出結果を所定の閾値と比較することで、人物の頭部であるかどうかを判定する、
    ことを特徴とする請求項1に記載の人数計数装置。
  3. 対象領域を上方から撮影した平面画像及び前記平面画像の背景画像からエッジを抽出するエッジ抽出手段と、
    前記エッジ抽出手段により抽出されたエッジに基づいて、前記平面画像及び前記背景画像に含まれる円の候補を検出する円候補検出手段と、
    前記円候補検出手段により検出された円の候補の内、前記平面画像に含まれる円の候補から前記背景画像に含まれる円の候補を除いた円の候補毎に、当該円の候補のエッジを構成する複数のエッジ画素の各々について輝度勾配を算出し、各エッジ画素に係る輝度勾配の均一度を表す指標として、各エッジ画素に係る輝度勾配の大きさのばらつき度合いを算出し、この算出結果を所定の閾値と比較することで、人物の頭部であるかどうかを判定する人物判定手段と、
    前記人物判定手段により人物の頭部であると判定された円の候補を計数する人数計数手段と、
    を備えたことを特徴とする人数計数装置。
  4. 対象領域を上方から撮影した平面画像からエッジを抽出するエッジ抽出処理と、
    前記エッジ抽出処理により抽出されたエッジに基づいて、前記平面画像に含まれる円の候補を検出する円候補検出処理と、
    前記円候補検出処理により検出された円の候補毎に、当該円の候補のエッジを構成する複数のエッジ画素の各々について輝度勾配を算出し、各エッジ画素に係る輝度勾配の均一度として、各エッジ画素に係る輝度勾配の大きさのばらつき度合いを算出し、この算出結果を所定の閾値と比較することで、人物の頭部であるかどうかを判定する人物判定処理と、
    前記人判定処理により人物の頭部であると判定された円の候補を計数する人数計数処理と、
    を備えたことを特徴とする人数計数方法。
  5. 前記人物判定処理は、前記円の候補のエッジを構成する各エッジ画素に係る輝度勾配の均一度を表す指標として、各エッジ画素に係る輝度勾配の大きさのばらつき度合いに加えて輝度勾配の方向の分布が円の中心から放射状に分布する度合いを算出し、各エッジ画素に係る輝度勾配の大きさのばらつき度合いと、輝度勾配の方向の分布が円の中心から放射状に分布する度合いとの算出結果を所定の閾値と比較することで、人物の頭部であるかどうかを判定する、
    ことを特徴とする請求項4に記載の人数計数方法。
  6. 対象領域を上方から撮影した平面画像及び前記平面画像の背景画像からエッジを抽出するエッジ抽出処理と、
    前記エッジ抽出処理により抽出されたエッジに基づいて、前記平面画像及び前記背景画像に含まれる円の候補を検出する円候補検出処理と、
    前記円候補検出処理により検出された円の候補の内、前記平面画像に含まれる円の候補から前記背景画像に含まれる円の候補を除いた円の候補毎に、当該円の候補のエッジを構成する複数のエッジ画素の各々について輝度勾配を算出し、各エッジ画素に係る輝度勾配の均一度を表す指標として、各エッジ画素に係る輝度勾配の大きさのばらつき度合いを算出し、この算出結果を所定の閾値と比較することで、人物の頭部であるかどうかを判定する人物判定処理と、
    前記人物判定処理により人物の頭部であると判定された円の候補を計数する人数計数処理と、
    を備えたことを特徴とする人数計数方法。
JP2015508305A 2013-03-26 2014-03-14 人数計数装置および人数計数方法 Active JP5976198B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013063652 2013-03-26
JP2013063652 2013-03-26
PCT/JP2014/056954 WO2014156733A1 (ja) 2013-03-26 2014-03-14 人数計数装置および人数計数方法

Publications (2)

Publication Number Publication Date
JP5976198B2 true JP5976198B2 (ja) 2016-08-23
JPWO2014156733A1 JPWO2014156733A1 (ja) 2017-02-16

Family

ID=51623714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015508305A Active JP5976198B2 (ja) 2013-03-26 2014-03-14 人数計数装置および人数計数方法

Country Status (4)

Country Link
US (1) US9704259B2 (ja)
JP (1) JP5976198B2 (ja)
GB (1) GB2527697B (ja)
WO (1) WO2014156733A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160259980A1 (en) * 2015-03-03 2016-09-08 Umm Al-Qura University Systems and methodologies for performing intelligent perception based real-time counting
JP6568374B2 (ja) * 2015-03-27 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
KR20160118783A (ko) * 2015-04-03 2016-10-12 한화테크윈 주식회사 사람 계수 방법 및 장치
JP6481537B2 (ja) * 2015-07-14 2019-03-13 コニカミノルタ株式会社 被監視者監視装置および被監視者監視方法
CN106845318B (zh) * 2015-12-03 2019-06-21 杭州海康威视数字技术股份有限公司 客流信息采集方法及装置、客流信息处理方法及装置
US10346688B2 (en) 2016-01-12 2019-07-09 Hitachi Kokusai Electric Inc. Congestion-state-monitoring system
JP6754574B2 (ja) * 2016-01-18 2020-09-16 株式会社日立情報通信エンジニアリング 移動体計測システム、及び計測対象の領域における人物の数を特定する方法
US10652459B2 (en) * 2016-03-07 2020-05-12 Ricoh Company, Ltd. Information processing system, information processing method, and non-transitory computer-readable storage medium
US10650249B2 (en) * 2016-10-25 2020-05-12 Shenzhen University Method and device for counting pedestrians based on identification of head top of human body
US10789502B2 (en) * 2018-01-24 2020-09-29 Denso Ten Limited Extraneous-matter detecting apparatus and extraneous-matter detecting method
US11488379B2 (en) * 2018-03-13 2022-11-01 Harman International Industries, Incorporated Apparatus and method for automatic failure threshold detection for images
JP6703679B1 (ja) * 2019-02-01 2020-06-03 株式会社計数技研 計数装置、学習器製造装置、計数方法、学習器製造方法、及びプログラム
CN110096959B (zh) * 2019-03-28 2021-05-28 上海拍拍贷金融信息服务有限公司 人流量计算方法、装置以及计算机存储介质
CN110210603A (zh) * 2019-06-10 2019-09-06 长沙理工大学 人群的计数模型构建方法、计数方法和装置
CN110717885A (zh) * 2019-09-02 2020-01-21 平安科技(深圳)有限公司 顾客数量的统计方法及装置、电子设备及可读存储介质
JP7151675B2 (ja) * 2019-09-20 2022-10-12 株式会社デンソーテン 付着物検出装置および付着物検出方法
CN112733677B (zh) * 2020-12-31 2021-11-30 桂林海威科技股份有限公司 一种人流量统计系统及方法
CN113343882A (zh) * 2021-06-21 2021-09-03 平安普惠企业管理有限公司 人群计数方法、装置、电子设备及存储介质
CN113990214A (zh) * 2021-10-22 2022-01-28 深圳倜傥国际设计有限公司 一种模块化区域可调节展示系统
CN114092890B (zh) * 2022-01-20 2022-04-12 长沙海信智能系统研究院有限公司 区域内可容纳人数的确定方法、装置、设备及介质
KR102629904B1 (ko) * 2022-03-21 2024-01-30 주식회사 켈스 머신러닝과 이미지 프로세싱을 이용한 진단 키트 영상의 위치 및 색상 보정 장치 및 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282452A (ja) * 1996-04-12 1997-10-31 Omron Corp 監視装置
JPH11259625A (ja) * 1998-03-09 1999-09-24 Mitsubishi Electric Corp 人数検出装置及びエレベーターの利用客数検出装置
JPH11296653A (ja) * 1998-04-06 1999-10-29 Sanyo Electric Co Ltd 画像処理装置及びこれを用いた人体検知装置
JP2004280451A (ja) * 2003-03-14 2004-10-07 Matsushita Electric Works Ltd 自律移動装置
JP2010198566A (ja) * 2009-02-27 2010-09-09 Nec Corp 人数計測装置、方法及びプログラム
JP2011020656A (ja) * 2009-07-21 2011-02-03 Nippon Signal Co Ltd:The ホームドア確認システム
JP2012118790A (ja) * 2010-12-01 2012-06-21 Hitachi Ltd 混雑度推定装置
WO2012124146A1 (ja) * 2011-03-11 2012-09-20 オムロン株式会社 画像処理装置、および画像処理方法
JP2012212969A (ja) * 2011-03-30 2012-11-01 Secom Co Ltd 画像監視装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
JP2005135339A (ja) * 2003-10-31 2005-05-26 Konica Minolta Holdings Inc 通行人検出方法および装置ならびに通行人計数装置
JP4522899B2 (ja) * 2004-03-29 2010-08-11 富士フイルム株式会社 画像出力装置、画像出力方法およびそのプログラム
US7995239B2 (en) 2004-03-29 2011-08-09 Fujifilm Corporation Image output apparatus, method and program
JP5371685B2 (ja) * 2009-10-20 2013-12-18 キヤノン株式会社 情報処理装置及び制御方法、プログラム
JP5726595B2 (ja) * 2011-03-30 2015-06-03 セコム株式会社 画像監視装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282452A (ja) * 1996-04-12 1997-10-31 Omron Corp 監視装置
JPH11259625A (ja) * 1998-03-09 1999-09-24 Mitsubishi Electric Corp 人数検出装置及びエレベーターの利用客数検出装置
JPH11296653A (ja) * 1998-04-06 1999-10-29 Sanyo Electric Co Ltd 画像処理装置及びこれを用いた人体検知装置
JP2004280451A (ja) * 2003-03-14 2004-10-07 Matsushita Electric Works Ltd 自律移動装置
JP2010198566A (ja) * 2009-02-27 2010-09-09 Nec Corp 人数計測装置、方法及びプログラム
JP2011020656A (ja) * 2009-07-21 2011-02-03 Nippon Signal Co Ltd:The ホームドア確認システム
JP2012118790A (ja) * 2010-12-01 2012-06-21 Hitachi Ltd 混雑度推定装置
WO2012124146A1 (ja) * 2011-03-11 2012-09-20 オムロン株式会社 画像処理装置、および画像処理方法
JP2012212969A (ja) * 2011-03-30 2012-11-01 Secom Co Ltd 画像監視装置

Also Published As

Publication number Publication date
US20160055645A1 (en) 2016-02-25
JPWO2014156733A1 (ja) 2017-02-16
GB201516929D0 (en) 2015-11-11
WO2014156733A1 (ja) 2014-10-02
US9704259B2 (en) 2017-07-11
GB2527697A (en) 2015-12-30
GB2527697B (en) 2019-07-10

Similar Documents

Publication Publication Date Title
JP5976198B2 (ja) 人数計数装置および人数計数方法
JP6549797B2 (ja) 通行人の頭部識別方法及びシステム
CN108537112B (zh) 图像处理装置、图像处理系统、图像处理方法及存储介质
JP6525453B2 (ja) オブジェクト位置推定システム、及びそのプログラム
US10212324B2 (en) Position detection device, position detection method, and storage medium
US20180210556A1 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
JP6273685B2 (ja) 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
EP3168810B1 (en) Image generating method and apparatus
WO2012066785A1 (ja) 人数カウント装置、人数カウント方法及び人数カウントプログラム
EP2662827B1 (en) Video analysis
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
JP2005128619A (ja) 物体計測装置、物体計測方法、およびプログラム
JP2013542528A (ja) 夜景画像ボケ検出システム
CN112308879A (zh) 图像处理设备、追踪对象物体的方法和存储介质
Teng et al. Detection of service activity in a badminton game
JP2009211122A (ja) 画像処理装置およびオブジェクト推定プログラム。
JP5217917B2 (ja) 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム
JP5419925B2 (ja) 通過物体数計測方法、通過物体数計測装置、及びプログラム
JP2011203853A (ja) 画像処理装置及びプログラム
JP6543546B2 (ja) 特定動作検出装置及び特定動作検出方法
US11587325B2 (en) System, method and storage medium for detecting people entering and leaving a field
Niżałowska et al. Indoor head detection and tracking on RGBD images
Yuthong et al. Lung volume monitoring using flow-oriented incentive spirometer with video processing
JP2016024646A (ja) 画像処理装置、情報処理装置、画像処理方法およびコンピュータプログラム
CN113592892A (zh) 一种行人统计方法、装置、设备、存储介质

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160719

R150 Certificate of patent or registration of utility model

Ref document number: 5976198

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250