JP6819118B2 - 移動物体の計数装置及び方法 - Google Patents

移動物体の計数装置及び方法 Download PDF

Info

Publication number
JP6819118B2
JP6819118B2 JP2016146249A JP2016146249A JP6819118B2 JP 6819118 B2 JP6819118 B2 JP 6819118B2 JP 2016146249 A JP2016146249 A JP 2016146249A JP 2016146249 A JP2016146249 A JP 2016146249A JP 6819118 B2 JP6819118 B2 JP 6819118B2
Authority
JP
Japan
Prior art keywords
moving object
current frame
track
frame
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016146249A
Other languages
English (en)
Other versions
JP2017033553A (ja
Inventor
ヤン・ヤウエヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2017033553A publication Critical patent/JP2017033553A/ja
Application granted granted Critical
Publication of JP6819118B2 publication Critical patent/JP6819118B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、情報技術分野に関し、特に、移動物体の計数装置及び方法に関する。
都市交通状況の複雑化に伴い、交通状況への監視や制御がますます普及しつつある。運転中の車両や歩行者などの移動物体への計数(カウント)は、ビデオ監視中でのよくある機能の一つである。そのうち、移動物体の追跡方法は、移動物体の計数にとって非常に重要である。
従来の移動物体の計数方法では、通常、ガウス前景検出アルゴリズムを用いて、画像中でのどの部分が移動物体に属するかを確定し、そして、目標重複や粒子追跡などの方法により、移動物体を追跡することができる。
しかし、従来の方法により移動物体を計数する時に、追跡中に目標物体が紛失しやすいため、計数結果が不正確になる恐れがある。
本発明の実施例は、移動物体の計数装置及び方法を提供し、そのうち、移動物体を連続して検出した回数に基づいて、移動物体軌迹集のうちの各移動物体軌迹に点数を付け、そして、移動物体軌迹の得点に基づいて、移動物体軌迹集のうちの移動物体軌迹を選択することにより、形成される移動物体軌迹集の過完全性(overcompleteness)を保証し、計数の正確性を有効に向上させることができる。
本発明の実施例の第一側面によれば、移動物体の計数装置が提供され、該計数装置は、
監視ビデオの各フレーム(画像)から移動物体を検出し、検出した移動物体に基づいて移動物体軌迹集を形成し、そして、前記移動物体軌迹集のうちの各移動物体軌迹において移動物体を連続して検出した回数に基づいて、各移動物体軌迹に点数を付けるための形成ユニット;
前記移動物体軌迹集のうちの移動物体軌迹の得点が所定閾値以下の移動物体軌迹を除去するためのフィルタリングユニット;及び
除去後の移動物体軌迹集のうちの移動物体軌迹に基づいて、移動物体の計数を行うための計数ユニットを含む。
本発明の実施例の第二側面によれば、移動物体の計数方法が提供され、該計数方法は、
監視ビデオの各フレーム(画像)から移動物体を検出し、検出した移動物体に基づいて前記監視ビデオの移動物体軌迹集を形成し、そして、前記移動物体軌迹集のうちの各移動物体軌迹において移動物体を連続して検出した回数に基づいて、各移動物体軌迹に点数を付け;
前記移動物体軌迹集のうちの移動物体軌迹の得点が所定閾値以下の移動物体軌迹を除去し;及び
除去後の移動物体軌迹集のうちの移動物体軌迹に基づいて、移動物体の計数を行うことを含む。
本発明の有益な効果は、移動物体を連続して検出した回数に基づいて、移動物体軌迹集のうちの各移動物体軌迹に点数を付け、そして、移動物体軌迹の得点に基づいて、移動物体軌迹集のうちの移動物体軌迹を選択することにより、形成される移動物体軌迹集の過完全性を保証し、計数の正確性を有効に向上させることができる。
本発明の実施例1における移動物体の計数装置の構成図である。 本発明の実施例1における形成ユニット101の構成図である。 本発明の実施例1における運動軌迹集の形成及び点数付け方法のフローチャートである。 本発明の実施例1における更新ユニット202の構成図である。 本発明の実施例1における現在フレームに関する移動物体軌迹集の更新方法のフローチャートである。 本発明の実施例1における点数付けユニット203の構成図である。 本発明の実施例1における現在フレームに関する各移動物体軌迹の得点確定方法のフローチャートである。 本発明の実施例2における電子装置のブロック図である。 本発明の実施例2における電子装置のシステム構成図である。 本発明の実施例3における移動物体の計数方法のフローチャートである。
添付した図面及び以下の説明を参照することにより、本発明の前述及び他の特徴が明らかになる。明細書及び図面では、具体的に本発明の特定の実施方式を開示しているが、それらは、本発明の原理を採用し得る一部の実施方式だけである。なお、本発明は、記載されている実施方式により限定されず、即ち、本発明は、添付した特許請求の範囲内での全ての変更、変形及び代替によるものも含む。
図1は、本発明の実施例1における移動物体の計数装置の構成図である。図1に示すように、該装置100は次のユニットを含み、即ち、
形成ユニット101:監視ビデオの各フレーム(各画像)から移動物体を検出し、検出した移動物体に基づいて移動物体軌迹集を形成し、そして、該移動物体軌迹集のうちの各移動物体軌迹において移動物体を連続した検出した回数に基づいて、各移動物体軌迹に点数を付け;
フィルタリングユニット102:該移動物体軌迹集のうちの移動物体軌迹の得点が所定閾値以下の移動物体軌迹を除去し;
計数ユニット103:除去後の移動物体軌迹集のうちの移動物体軌迹に基づいて、移動物体の計数を行う。
本実施例から分かるように、移動物体を連続して検出し回数に基づいて、移動物体軌迹集のうちの各移動物体軌迹に点数を付け、そして、移動物体軌迹の得点に基づいて、移動物体軌迹集のうちの移動物体軌迹を選択することにより、形成される移動物体軌迹集の過完全性を保証し、計数の正確性を有効に向上させることができる。
本実施例では、移動物体は、計数される必要がある運動中の任意の物体であっても良く、例えば、移動物体は、道路上で走行している車又は歩いている人間や動物などであっても良い。
本実施例では、監視ビデオは、従来の方法により取得されても良く、例えば、監視される必要がある領域の上方に設置されているカメラにより取得されても良い。
本実施例では、監視ビデオのフレーム数は、実際のニーズに応じて設定されても良い。そのうち、監視ビデオのフレーム数は、監視ビデオにおける関心領域(Region of Interest、ROI)の大小(サイズ)に基づいて設定されても良い。例えば、監視ビデオのフレーム数は、15〜20フレームである。
本実施例では、形成ユニット101は、監視ビデオの各フレームから移動物体を検出し、検出した移動物体に基づいて、移動物体軌迹集を形成し、そして、該移動物体軌迹集のうちの各移動物体軌迹において移動物体を連続して検出した回数に基づいて、各移動物体軌迹に点数を付けるために用いられる。
以下、形成ユニット101の構成及び運動軌迹集の形成及び点数付け方法について例示的に説明する。
図2は、本発明の実施例1における形成ユニット101の構成図である。図2に示すように、形成ユニット101は次のユニットを含み、即ち、
検出ユニット201:現在フレームの所定領域における移動物体を検出し;
更新ユニット202:現在フレームから検出された移動物体の位置と、前の1フレームの移動物体軌迹による移動物体の予測位置とに基づいて、前の1フレームの移動物体軌迹を更新し又は移動物体軌迹を形成し、現在フレームに関する移動物体軌迹集を更新し;
点数付けユニット203:更新後の現在フレームに関する移動物体軌迹集のうちの各移動物体軌迹に基づいて現在フレーム及びその前のフレームから移動物体を連続して検出した回数に基づいて、現在フレームに関する各移動物体軌迹の得点を確定する。
図3は、本発明の実施例1における運動軌迹集の形成及び点数付け方法のフローチャートである。図3に示すように、該方法は次のステップを含む。
ステップ301:現在フレームの所定領域における移動物体を検出し;
ステップ302:現在フレームから検出された移動物体の位置、及び、前の1フレームの移動物体軌迹による移動物体の予測位置に基づいて、前の1フレームの移動物体軌迹を更新し又は移動物体軌迹を形成し、現在フレームに関する移動物体軌迹集を更新し;
ステップ303:現在フレームに関する更新後の移動物体軌迹又は形成された移動物体軌迹に基づいて現在フレーム及びその前のフレームから移動物体を連続して検出した回数に基づいて、現在フレームに関する各移動物体軌迹の得点を確定する。
このように、検出された移動物体の位置及び前の1フレームによる予測位置に基づいて既存の移動物体軌迹を更新し又は新しい移動物体軌迹を形成することで、形成される移動物体軌迹集の過完全性をより一層保証することができ、これにより、計数の正確性をさらに向上させることができる。
本実施例では、検出ユニット201は、現在フレームの所定領域における移動物体を検出するために用いられる。そのうち、該所定領域は、実際のニーズに応じて設定されても良く、例えば、該所定領域は、関心領域(Region of Interest、ROI)である。
本実施例では、検出ユニット201は、従来の方法を用いて、現在フレームの所定領域における移動物体を検出することができる。例えば、分類器を採用して所定領域に対して目標検出を行っても良く、そのうち、該分類器は、目標物体を含むポジティブサンプル画像及び該目標物体を含まないネガティブサンプル画像からHOG(Histograms of Oriented Gradients、HOG)特徴を抽出した後に訓練を行うことにより得ることができる。
本実施例では、現在フレームの所定領域における移動物体を検出した後に、更新ユニット202は、検出された移動物体の位置及び前の1フレームの移動物体軌迹による移動物体の予測位置に基づいて、前の1フレームの移動物体軌迹を更新し又は移動物体軌迹を形成することで、現在フレームに関する移動物体軌迹集を更新するために用いられる。
以下、更新ユニット202の構成及び現在フレームに関する移動物体軌迹集の更新方法について例示的に説明する。
図4は、本発明の実施例1における更新ユニット202の構成図である。図4に示すように、更新ユニット202は次のユニットを含み、即ち、
第一更新ユニット401:現在フレームから検出された移動物体の位置と、前の1フレームの移動物体軌迹による移動物体の予測位置とがマッチした場合、検出された移動物体の位置に基づいて、前の1フレームの該移動物体軌迹を更新し、現在フレームに関する更新後の該移動物体軌迹を形成し;
第二更新ユニット402:現在フレームから検出された移動物体の位置と、前の1フレームの移動物体軌迹による移動物体の予測位置とがマッチしない場合、現在フレームから検出された前記移動物体の移動物体軌迹を形成し、また、該予測位置に基づいて前の1フレームの該移動物体軌迹を更新し、現在フレームに関する更新後の該移動物体軌迹を形成する。
本実施例では、第一判断ユニットをさらに設置しても良く、それは、現在フレームから検出された移動物体の位置と、前の1フレームの移動物体軌迹による移動物体の予測位置とがマッチするかどうかを判断するために用いられる。そのうち、第一判断ユニットは、更新ユニット202の中に設置されても良く、形成ユニット101の中又は計数装置100の中に直接設置されても良く、本発明の実施例では第一判断ユニットの設置位置について限定しない。
図5は、本発明の実施例1における現在フレームに関する移動物体軌迹集の更新方法のフローチャートである。図5に示すように、該方法は次のステップを含み、即ち、
ステップ501:現在フレームから検出された移動物体の位置と、前の1フレームの移動物体軌迹による移動物体の予測位置とがマッチするかどうかを判断し、判断結果が“はい”のとき、ステップ502に進み、判断結果が“いいえ”のとき、ステップ503及び504に進み;
ステップ502:検出された移動物体の位置に基づいて、前の1フレームの該移動物体軌迹を更新し、現在フレームに関する更新後の該移動物体軌迹を形成し;
ステップ503:現在フレームから検出された前記移動物体の移動物体軌迹を形成し;
ステップ504:該予測位置に基づいて前の1フレームの該移動物体軌迹を更新し、現在フレームに関する更新後の該移動物体軌迹を形成する。
本実施例では、前の1フレームの移動物体軌迹による移動物体の予測位置は、従来の方法により取得されても良く、例えば、前の1フレームの1つの移動物体軌迹について、移動物体の可能な移動方向及び移動速度に基づいて、上下左右及び傾斜45度の各方向上で予測位置を確定することができる。
本実施例では、第一更新ユニット401は、現在フレームから検出された移動物体の位置と、前の1フレームの移動物体軌迹による移動物体の予測位置とがマッチした場合、検出された移動物体の位置に基づいて、前の1フレームの該移動物体軌迹を更新し、現在フレームに関する更新後の該移動物体軌迹を形成する。
例えば、現在フレームにおいて検出された移動物体の位置と、前の1フレームのある移動物体軌迹による移動物体の予測位置とがマッチした場合、現在フレームから検出された移動物体と、前の1フレームの該移動物体軌迹とを合併(結合)することで、前の1フレームの該移動物体軌迹に対しての更新を完成し、現在フレームの更新後の該移動物体軌迹を形成することができる。
本実施例では、第二更新ユニット402は、現在フレームから検出された移動物体の位置と、前の1フレームの移動物体軌迹による移動物体の予測位置とがマッチしない場合、現在フレームにおいて検出された前記移動物体の移動物体軌迹を形成し、該予測位置に基づいて前の1フレームの該移動物体軌迹を更新し、現在フレームに関する更新後の該移動物体軌迹を形成する。
例えば、現在フレームから検出された移動物体の位置と、前の1フレームの全ての移動物体軌迹による移動物体の予測位置とがマッチしない場合、検出された移動物体の位置に基づいて新しい移動物体軌迹を形成し、且つ、前の1フレームの各移動物体軌迹による予測位置に基づいてこれらの移動物体軌迹を更新し、現在フレームに関する更新後のこれらの移動物体軌迹を形成する。
本実施例では、更新ユニット202は、第一更新ユニット401及び第二更新ユニット402により現在フレームに関する移動物体軌迹集を更新することができる。
本実施例では、更新ユニット202が現在フレームに関する移動物体軌迹集を更新した後に、点数付けユニット203は、更新後の現在フレームに関する移動物体軌迹集のうちの各移動物体軌迹に基づいて現在フレーム及び現在フレームの前のフレームから移動物体を連続して検出した回数に基づいて、現在フレームに関する各移動物体軌迹の得点を確定するために用いられる。
以下、点数付けユニット203の構成及び現在フレームに関する各移動物体軌迹の得点確定方法について例示的に説明する。
図6は、本発明の実施例1における点数付けユニット203の構成図である。図6に示すように、点数付けユニット203は次のユニットを含み、即ち、
第一点数付けユニット601:更新後の現在フレームに関する移動物体軌迹集のうちの各移動物体軌迹に基づいて前の1フレームに対して現在フレームから連続して移動物体が検出された場合、現在フレームの該移動物体軌迹の得点を、前の1フレームの該移動物体軌迹の得点に現在フレーム及びその前のフレームから連続して該移動物体が検出された回数を加算したものとして確定し;
第二点数付けユニット602:更新後の現在フレームに関する移動物体軌迹集のうちの各移動物体軌迹に基づいて前の1フレームに対して現在フレームから連続して移動物体が検出されない場合、現在フレームの該移動物体軌迹の得点を、前の1フレームの該移動物体軌迹の得点から1を減算したものとして確定する。
本実施例では、第二判断ユニットをさらに設置しても良く、それは、更新後の現在フレームに関する移動物体軌迹集のうちの各移動物体軌迹に基づいて現在フレーム及び現在フレームの前のフレームから連続して移動物体を検出したかどうかを判断するために用いられる。そのうち、第二判断ユニットは、点数付けユニット203の中に設置されても良く、形成ユニット101の中又は計数装置100の中に直接設置されても良く、本発明の実施例では第二判断ユニットの設置位置について限定しない。
図7は、本発明の実施例1における現在フレームに関する各移動物体軌迹の得点確定方法のフローチャートである。図7に示すように、該方法は、
ステップ701:更新後の現在フレームに関する移動物体軌迹集のうちの各移動物体軌迹に基づいて前の1フレームに対して現在フレームから連続して移動物体を検出したかどうかを判断し、判断結果が“はい”のとき、ステップ702に進み、判断結果が“いいえ”のとき、ステップ703に進み;
ステップ702:現在フレームの該移動物体軌迹の得点を、前の1フレームの該移動物体軌迹の得点に現在フレーム及び現在フレームの前のフレームから連続して該移動物体が検出された回数を加算したものとして確定し;
ステップ703:現在フレームの該移動物体軌迹の得点を、前の1フレームの該移動物体軌迹の得点から1を減算したものとして確定する。
本実施例では、「移動物体を連続して検出した」とは、前の1フレームにおいて移動物体を検出しており、且つ、現在フレームにおいて再び同一移動物体を検出したということを意味し、このとき、現在フレームについて言えば、移動物体を連続して検出した回数は1であり、次の1フレームにおいて再び同一移動物体を検出したら、次の1フレームについて言えば、移動物体を連続して検出した回数は2であり、これに基づいて類推することができる。連続して複数回移動物体を検出した後に、あるフレームから該移動物体を検出できず、該フレームの次の1フレームから再び該移動物体を検出した場合、連続して移動物体を検出した回数はもう一度(新たに)計算する必要がある。
以下、例を挙げて本発明の実施例1における点数付け方法を説明する。例えば、該監視ビデオが7フレームの画像を含み、第1個目のフレームから一つの移動物体を検出し且つ該移動物体に基づいて軌迹track1を形成した場合、第1個目のフレーム中で該軌迹track1の得点が0であり、即ち、新しく形成された移動物体軌迹の得点を0と設定し;第2個目のフレーム中で連続して該移動物体を検出し且つ検出した該移動物体に基づいてtrack1に対して更新を行った場合、第2個目のフレーム中で該更新後のtrack1の得点が0+1=1であり;第3個目のフレーム中で連続して該移動物体を検出し且つ検出した該移動物体に基づいてtrack1を更新した場合、第3個目のフレーム中で該更新後のtrack1の得点が1+2=3であり;第4個目のフレーム中で連続して該移動物体を検出し且つ検出した該移動物体に基づいてtrack1に対して更新を行った場合、第4個目のフレーム中で該更新後のtrack1の得点が3+3=6であり;第5個目のフレーム中で該移動物体を検出できず、第4個目のフレームのtrack1による予測位置に基づいてtrack1を更新した場合、第5個目のフレーム中で該更新後のtrack1の得点が6-1=5であり;第6個目のフレーム中で再び該移動物体を検出し且つ検出した該移動物体に基づいてtrack1を更新した場合、第6個目のフレーム中で該更新後のtrack1の得点が5+0=5であり;第7個目のフレーム中で連続して該移動物体を検出し且つ検出した該移動物体に基づいてtrack1に対して更新を行った場合、第7個目のフレーム中で該更新後のtrack1の得点が5+1=6である。こうすると、該軌迹track1の最終得点は6である。
本実施例では、形成ユニット101が移動物体軌迹集を形成し、各移動物体軌迹に点数を付けた後に、フィルタリングユニット102は、該移動物体軌迹集のうちの移動物体軌迹の得点が所定閾値以下の移動物体軌迹を除去するために用いられる。
本実施例では、該所定閾値は実際のニーズに応じて設定されても良く、例えば、該所定閾値を0と設定しても良い。こうすると、フィルタリングユニット102は、該移動物体軌迹集のうちの移動物体軌迹の得点が0以下の移動物体軌迹を除去することができる。
本実施例では、フィルタリングユニット102はさらに、該移動物体軌迹集のうちの距離が所定閾値よりも小さい2つの移動物体軌迹を合併しても良く、そのうち、該所定閾値は、実際のニーズに応じて設定されても良い。このように、計数の正確性をより一層向上させることができる。
本実施例では、計数ユニット103は、除去後の移動物体軌迹集のうちの移動物体軌迹に基づいて、移動物体の計数を行い、また、フィルタリングユニット102がさらに該移動物体軌迹集のうちの距離が所定閾値よりも小さい2つの移動物体軌迹を合併した場合、計数ユニット103は、除去及び合併後の移動物体軌迹集のうちの移動物体軌迹に基づいて、移動物体の計数を行う。
本実施例では、移動物体軌迹に基づいて移動物体を計数することは従来の方法により実現されても良く、例えば、自動識別計数や人工計数などの方法を採用しても良い。
本実施例から分かるように、連続して移動物体を検出した回数に基づいて、移動物体軌迹集のうちの各移動物体軌迹に点数を付け、そして、移動物体軌迹の得点に基づいて、移動物体軌迹集のうちの移動物体軌迹を選択することにより、形成される移動物体軌迹集の過完全性を保証し、計数の正確性を有効に向上させることができる。
本発明の実施例はさらに電子装置を提供する。図8は本発明の実施例2の電子装置のブロック図である。図8に示すように、電子装置800は移動物体の計数装置801を含み、そのうち、移動物体の計数装置801の構成及び機能は実施例1と同様であるため、ここではその詳しい説明を省略する。
図9は本発明の実施例2における電子装置のシステム構成図である。図9に示すように、電子装置900は中央処理装置901及び記憶器902を含み、記憶器902は中央処理装置901に結合される。該図は例示に過ぎず、他の類型の結構を用いて該結構に対して補充や代替を行うことで、電気通信機能又は他の機能を実現しても良い。
図9に示すように、該電子装置900はさらに入力ユニット903や表示器904、電源905を含んでも良い。
一実施方式では、実施例1に記載の移動物体の計数装置の機能は中央処理装置901に統合することができる。そのうち、中央処理装置901は、監視ビデオの各フレームから移動物体を検出し、検出した移動物体に基づいて前記監視ビデオの移動物体軌迹集を形成し、そして、前記移動物体軌迹集の各移動物体軌迹において連続して移動物体を検出した回数に基づいて、各移動物体軌迹に点数を付け;前記移動物体軌迹集のうちの移動物体軌迹の得点が所定閾値以下の移動物体軌迹を除去し;及び、除去後の移動物体軌迹集のうちの移動物体軌迹に基づいて、移動物体の計数を行うように構成されても良い。
そのうち、監視ビデオの各フレームから移動物体を検出し、検出した移動物体に基づいて前記監視ビデオの移動物体軌迹集を形成し、そして、前記移動物体軌迹集のうちの各移動物体軌迹において連続して移動物体を検出した回数に基づいて、各移動物体軌迹に点数を付けることは、現在フレームの所定領域中の移動物体を検出し;現在フレームにおいて検出された移動物体の位置及び前の1フレームの移動物体軌迹による移動物体の予測位置に基づいて、前の1フレームの移動物体軌迹を更新し又は移動物体軌迹を形成することで、現在フレームに関する移動物体軌迹集を更新し;及び、更新後の現在フレームに関する移動物体軌迹集のうちの各移動物体軌迹に基づいて現在フレーム及び現在フレームの前のフレームから連続して移動物体が検出された回数に基づいて、現在フレームに関する各移動物体軌迹の得点を確定することを含む。
そのうち、現在フレームから検出された移動物体の位置及び前の1フレームの移動物体軌迹による移動物体の予測位置に基づいて、前の1フレームの移動物体軌迹を更新し又は移動物体軌迹を形成することで、現在フレームに関する移動物体軌迹集を更新することは、現在フレームにおいて検出された移動物体の位置と、前の1フレームの移動物体軌迹による移動物体の予測位置とがマッチした場合、検出された移動物体の位置に基づいて、前の1フレームの前記移動物体軌迹を更新し、現在フレームの更新後の前記移動物体軌迹を形成し;及び、現在フレームから検出された移動物体の位置と、前の1フレームの移動物体軌迹による移動物体の予測位置とがマッチしない場合、現在フレームから検出された前記移動物体の移動物体軌迹を形成し、前記予測位置に基づいて前の1フレームの前記移動物体軌迹を更新し、現在フレームの更新後の前記移動物体軌迹を形成することを含む。
そのうち、更新後の現在フレームに関する移動物体軌迹集のうちの各移動物体軌迹に基づいて現在フレーム及び現在フレームの前のフレームから連続して移動物体を検出した回数に基づいて、現在フレームに関する各移動物体軌迹の得点を確定することは、更新後の現在フレームに関する移動物体軌迹集のうちの各移動物体軌迹に基づいて前の1フレームに対して現在フレームから連続して移動物体を検出した場合、現在フレームの前記移動物体軌迹の得点を、前の1フレームの前記移動物体軌迹の得点に現在フレーム及び現在フレームの前のフレームから連続して前記移動物体を検出した回数を加算したものとして確定し;また、更新後の現在フレームに関する移動物体軌迹集のうちの各移動物体軌迹に基づいて前の1フレームに対して現在フレームから連続して移動物体を検出できない場合、現在フレームの前記移動物体軌迹の得点を、前の1フレームの前記移動物体軌迹の得点から1を減算したものとして確定することを含む。
そのうち、中央処理装置901はさらに、前記移動物体軌迹集のうちの距離が所定閾値よりも小さい2つの移動物体軌迹を合併するように構成されても良い。この場合、除去後の移動物体軌迹集のうちの移動物体軌迹に基づいて、移動物体の計数を行うことは、除去及び合併後の移動物体軌迹集のうちの移動物体軌迹に基づいて、移動物体の計数を行うことを含む。
他の実施方式では、実施例1に記載の移動物体の計数装置は、中央処理装置901と別々に配置されても良く、例えば、移動物体の計数装置は、中央処理装置901に接続されるチップとして構成されても良く、中央処理装置901の制御により計数装置の機能を実現することもできる。
本実施例では、電子装置900は必ずしも図9に示す全ての部品を含む必要がない。
図9に示すように、中央処理装置901は制御器又はコントローラと称される場合があり、マイクロプロセッサ又は他の処理装置及び/又は論理装置を含んでも良く、また、中央処理装置901は、入力を受信し、電子装置900の各部品の操作を制御することができる。
記憶器902は、例えば、バッファ、フレッシュメモリ、HDD、移動可能な媒体、揮発性記憶器、不揮発性記憶器又は他の適切な装置のうちの一つ又は複数であっても良い。中央処理装置901は該記憶器902に記憶されているプログラムを実行することにより、情報の記憶又は処理などを実現することができる。なお、他の部品の機能は従来と同様であるため、ここではその詳しい説明を省略する。また、電子装置900の各部品は、専用ハードウェア、ファームウェア、ソフトウェア又はその組み合わせにより実現することができ、これらもすべて本発明の範囲に属する。
本実施例から分かるように、連続して移動物体を検出した回数に基づいて移動物体軌迹集のうちの各移動物体軌迹に点数を付け、そして、移動物体軌迹の得点に基づいて移動物体軌迹集のうちの移動物体軌迹を選択することにより、形成される移動物体軌迹集の過完全性を保証し、計数の正確性を有効に向上させることができる。
本発明の実施例はさらに移動物体の計数方法を提供し、それは実施例1の移動物体の計数装置に対応する。図10は本発明の実施例3における移動物体の計数方法のフローチャートである。図10に示すように、該方法は次のステップを含む。
ステップ1001:監視ビデオの各フレーム(画像)から移動物体を検出し、検出した移動物体に基づいて前記監視ビデオの移動物体軌迹集を形成し、そして、前記移動物体軌迹集のうちの各移動物体軌迹において連続して移動物体を検出した回数に基づいて、各移動物体軌迹に点数を付け;
ステップ1002:前記移動物体軌迹集のうちの移動物体軌迹の得点が所定閾値以下の移動物体軌迹を除去し;
ステップ1003:除去後の移動物体軌迹集のうちの移動物体軌迹に基づいて、移動物体の計数を行う。
本実施例では、移動物体を検出する方法、移動物体軌迹集を形成する方法、移動物体軌迹集のうちの各移動物体軌迹に点数を付ける方法、及び、一部の移動物体軌迹を除去する方法は、実施例1と同様であるため、ここではその詳しい説明を省略する。
本実施例から分かるように、連続して移動物体を検出した回数に基づいて移動物体軌迹集のうちの各移動物体軌迹に点数を付け、そして、移動物体軌迹の得点に基づいて移動物体軌迹集のうちの移動物体軌迹を選択することにより、形成される移動物体軌迹集の過完全性を保証し、計数の正確性を有効に向上させることができる。
本発明の実施例はさらにコンピュータ可読プログラムを提供し、そのうち、移動物体の計数装置又は電子装置中で前記プログラムを実行する時に、前記プログラムは、コンピュータに、前記移動物体の計数装置又は電子装置中で実施例3に記載の移動物体の計数方法を実行させる。
本発明の実施例はさらにコンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、コンピュータに、移動物体の計数装置又は電子装置中で実施例3に記載の移動物体の計数方法を実行させる。
また、本発明の実施例による装置及び方法は、ソフトウェアにより実現されても良く、ハードウェアにより実現されてもよく、ハードウェア及びソフトウェアの組み合わせにより実現されても良い。また、本発明はこのようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は上述のプログラムを記憶するための記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フラッシュメモリなどにも関する。
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本開示の趣旨を離脱しない限り、本発明に対するあらゆる変更は本開示の技術的範囲に属する。

Claims (10)

  1. 移動物体の計数装置であって、
    監視ビデオの各フレームから移動物体を検出し、検出した移動物体に基づいて移動物体軌迹集を形成し、そして、前記移動物体軌迹集のうちの各移動物体軌迹において移動物体を連続して検出した回数に基づいて、各移動物体軌迹に点数を付けるための形成ユニット;
    前記移動物体軌迹集のうちの移動物体軌迹の得点が所定閾値以下の移動物体軌迹を除去するためのフィルタリングユニット;及び
    除去後の移動物体軌迹集のうちの移動物体軌迹に基づいて、移動物体の計数を行うための計数ユニットを含む、装置。
  2. 請求項1に記載の装置であって、
    前記形成ユニットは、
    現在フレームの所定領域における移動物体を検出するための検出ユニット;
    現在フレームから検出された移動物体の位置と、前の1フレームの移動物体軌迹による移動物体の予測位置とに基づいて、前の1フレームの移動物体軌迹を更新し又は移動物体軌迹を形成し、現在フレームの移動物体軌迹集を更新するための更新ユニット;及び
    更新後の現在フレームの移動物体軌迹集のうちの各移動物体軌迹に基づいて現在フレーム及び現在フレームの前のフレームから移動物体を連続して検出した回数に基づいて、現在フレームの各移動物体軌迹の得点を確定するための点数付けユニットを含む、装置。
  3. 請求項2に記載の装置であって、
    前記更新ユニットは、
    現在フレームから検出された移動物体の位置と、前の1フレームの移動物体軌迹による移動物体の予測位置とがマッチした場合、検出された移動物体の位置に基づいて、前の1フレームの前記移動物体軌迹を更新し、現在フレームの更新後の前記移動物体軌迹を形成するための第一更新ユニット;及び
    現在フレームから検出された移動物体の位置と、前の1フレームの移動物体軌迹による移動物体の予測位置とがマッチしない場合、現在フレームから検出された移動物体の移動物体軌迹を形成し、前記予測位置に基づいて前の1フレームの前記移動物体軌迹を更新し、現在フレームの更新後の前記移動物体軌迹を形成するための第二更新ユニットを含む、装置。
  4. 請求項2に記載の装置であって、
    前記点数付けユニットは、
    更新後の現在フレームの移動物体軌迹集のうちの各移動物体軌迹に基づいて現在フレームから前の1フレームに対して移動物体を連続して検出した場合、現在フレームの前記移動物体軌迹の得点を、前の1フレームの前記移動物体軌迹の得点に現在フレーム及び現在フレームの前のフレームから前記移動物体を連続して検出した回数を加算した後のものと確定するための第一点数付けユニット;及び
    更新後の現在フレームの移動物体軌迹集のうちの各移動物体軌迹に基づいて現在フレームから前の1フレームに対して移動物体を連続して検出できない場合、現在フレームの前記移動物体軌迹の得点を、前の1フレームの前記移動物体軌迹の得点から1を減算した後のものと確定するための第二点数付けユニットを含む、装置。
  5. 請求項1に記載の装置であって、
    前記フィルタリングユニットはさらに、前記移動物体軌迹集のうちの距離が所定閾値よりも小さい2つの移動物体軌迹を合併するように構成され、
    前記計数ユニットは、除去及び合併後の移動物体軌迹集のうちの移動物体軌迹に基づいて、移動物体の計数を行う、装置。
  6. 移動物体の計数方法であって、
    監視ビデオの各フレームから移動物体を検出し、検出した移動物体に基づいて前記監視ビデオの移動物体軌迹集を形成し、そして、前記移動物体軌迹集の各移動物体軌迹において移動物体を連続して検出した回数に基づいて、各移動物体軌迹に点数を付け;
    前記移動物体軌迹集のうちの移動物体軌迹の得点が所定閾値以下の移動物体軌迹を除去し;及び
    除去後の移動物体軌迹集のうちの移動物体軌迹に基づいて、移動物体の計数を行うことを含む、方法。
  7. 請求項6に記載の方法であって、
    監視ビデオの各フレームから移動物体を検出し、検出した移動物体に基づいて前記監視ビデオの移動物体軌迹集を形成し、そして、前記移動物体軌迹集の各移動物体軌迹において移動物体を連続して検出した回数に基づいて、各移動物体軌迹に点数を付けることは、
    現在フレームの所定領域における移動物体を検出し;
    現在フレームから検出された移動物体の位置と、前の1フレームの移動物体軌迹による移動物体の予測位置とに基づいて、前の1フレームの移動物体軌迹を更新し又は移動物体軌迹を形成し、現在フレームの移動物体軌迹集を更新し;及び
    更新後の現在フレームの移動物体軌迹集のうちの各移動物体軌迹に基づいて現在フレーム及び現在フレームの前のフレームから移動物体を連続して検出した回数に基づいて、現在フレームの各移動物体軌迹の得点を確定することを含む、方法。
  8. 請求項7に記載の方法であって、
    現在フレームから検出された移動物体の位置と、前の1フレームの移動物体軌迹による移動物体の予測位置とに基づいて、前の1フレームの移動物体軌迹を更新し又は移動物体軌迹を形成し、現在フレームの移動物体軌迹集を更新することは、
    現在フレームから検出された移動物体の位置と、前の1フレームの移動物体軌迹による移動物体の予測位置とがマッチした場合、検出された移動物体の位置に基づいて前の1フレームの前記移動物体軌迹を更新し、現在フレームの更新後の前記移動物体軌迹を形成し;及び
    現在フレームから検出された移動物体の位置と、前の1フレームの移動物体軌迹による移動物体の予測位置とがマッチしない場合、現在フレームから検出された前記移動物体の移動物体軌迹を形成し、前記予測位置に基づいて前の1フレームの前記移動物体軌迹を更新し、現在フレームの更新後の前記移動物体軌迹を形成することを含む、方法。
  9. 請求項7に記載の方法であって、
    更新後の現在フレームの移動物体軌迹集のうちの各移動物体軌迹に基づいて現在フレーム及び現在フレームの前のフレームから移動物体を連続して検出した回数に基づいて、現在フレームの各移動物体軌迹の得点を確定することは、
    更新後の現在フレームの移動物体軌迹集のうちの各移動物体軌迹に基づいて現在フレームから前の1フレームに対して移動物体を連続して検出した場合、現在フレームの前記移動物体軌迹の得点を、前の1フレームの前記移動物体軌迹の得点に現在フレーム及び現在フレームの前のフレームから前記移動物体を連続して検出した回数を加算した後のものと確定し;及び
    更新後の現在フレームの移動物体軌迹集のうちの各移動物体軌迹に基づいて現在フレームから前の1フレームに対して移動物体を連続して検出できない場合、現在フレームの前記移動物体軌迹の得点を、前の1フレームの前記移動物体軌迹の得点から1を減算した後のものと確定することを含む、方法。
  10. 請求項6に記載の方法であって、
    前記移動物体軌迹集のうちの距離が所定閾値よりも小さい2つの移動物体軌迹を合併することをさらに含み、
    除去後の移動物体軌迹集のうちの移動物体軌迹に基づいて、移動物体の計数を行うことは、
    除去及び合併後の移動物体軌迹集のうちの移動物体軌迹に基づいて、移動物体の計数を行うことを含む、方法。
JP2016146249A 2015-07-31 2016-07-26 移動物体の計数装置及び方法 Active JP6819118B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510463048.0 2015-07-31
CN201510463048.0A CN106408080B (zh) 2015-07-31 2015-07-31 运动物体的计数装置及方法

Publications (2)

Publication Number Publication Date
JP2017033553A JP2017033553A (ja) 2017-02-09
JP6819118B2 true JP6819118B2 (ja) 2021-01-27

Family

ID=57886490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016146249A Active JP6819118B2 (ja) 2015-07-31 2016-07-26 移動物体の計数装置及び方法

Country Status (3)

Country Link
US (1) US9870510B2 (ja)
JP (1) JP6819118B2 (ja)
CN (1) CN106408080B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885789A (zh) * 2017-03-03 2018-11-23 华为技术有限公司 一种针对人体运动的计数方法及装置
US10474988B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US11023850B2 (en) 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US11232687B2 (en) 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US11250376B2 (en) 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
TWI686748B (zh) * 2018-12-07 2020-03-01 國立交通大學 人流分析系統及人流分析方法
US11232575B2 (en) * 2019-04-18 2022-01-25 Standard Cognition, Corp Systems and methods for deep learning-based subject persistence
CN110084308B (zh) * 2019-04-30 2022-05-17 杭州远眺科技有限公司 一种基于车辆轨迹分析构建通勤路径的方法
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3920535B2 (ja) * 2000-06-12 2007-05-30 株式会社日立製作所 車両検出方法及び車両検出装置
JP4600929B2 (ja) * 2005-07-20 2010-12-22 パナソニック株式会社 停止低速車両検出装置
JP2007065878A (ja) * 2005-08-30 2007-03-15 Central Res Inst Of Electric Power Ind 水面または水中における移動体計数方法、計数装置および計数プログラム
CN100594713C (zh) * 2008-04-21 2010-03-17 中国科学院计算技术研究所 一种产生视频大纲的方法和系统
US8325981B2 (en) * 2009-04-21 2012-12-04 Nec Soft, Ltd. Human tracking apparatus, human tracking method, and human tracking processing program
CN103839276A (zh) * 2012-11-27 2014-06-04 大连灵动科技发展有限公司 一种基于预测的运动跟踪方法
US9025825B2 (en) * 2013-05-10 2015-05-05 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
CN104637058B (zh) * 2015-02-06 2017-11-17 武汉科技大学 一种基于图像信息的客流量识别统计方法
CN106570557A (zh) * 2015-10-13 2017-04-19 富士通株式会社 运动物体的计数装置及方法

Also Published As

Publication number Publication date
US20170032193A1 (en) 2017-02-02
US9870510B2 (en) 2018-01-16
JP2017033553A (ja) 2017-02-09
CN106408080B (zh) 2019-01-01
CN106408080A (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
JP6819118B2 (ja) 移動物体の計数装置及び方法
CN106408554B (zh) 遗留物检测装置、方法和系统
CN109427191B (zh) 一种行驶检测方法及装置
KR101731461B1 (ko) 객체에 대한 행동 탐지 장치 및 이를 이용한 행동 탐지 방법
CN110532916B (zh) 一种运动轨迹确定方法及装置
CN104732187B (zh) 一种图像跟踪处理的方法及设备
JP6534609B2 (ja) 追跡装置
CN105654508A (zh) 基于自适应背景分割的监控视频移动目标跟踪方法及系统
CN103366569A (zh) 实时抓拍交通违章车辆的方法及系统
CN103617410A (zh) 基于视频检测技术的高速公路隧道停车检测方法
EP2813973B1 (en) Method and system for processing video image
KR102493930B1 (ko) 강화학습 기반 신호 제어 장치 및 신호 제어 방법
CN103065325B (zh) 一种基于彩色颜色距离和图像分割聚合的目标跟踪方法
CN112530170A (zh) 一种车辆行驶状态检测方法、装置、电子设备及存储介质
JP2011258180A5 (ja)
CN107945523A (zh) 一种道路车辆检测方法、交通参数检测方法及装置
WO2023088201A1 (zh) 异常车辆的检测方法、装置及设备
CN104301699B (zh) 一种图像处理方法及装置
CN111062971A (zh) 一种基于深度学习多模态的跨摄像头泥头车追踪方法
CN104168444A (zh) 一种跟踪球机的目标跟踪方法及跟踪球机
CN104318760B (zh) 一种基于似物性模型的路口违章行为智能检测方法及系统
CN103985252A (zh) 一种基于跟踪目标时域信息的多车辆投影定位方法
Hasibuan et al. Detection and tracking different type of cars with YOLO model combination and deep sort algorithm based on computer vision of traffic controlling
CN113177509B (zh) 一种倒车行为识别方法及装置
Cheng Highway traffic flow estimation for surveillance scenes damaged by rain

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201214

R150 Certificate of patent or registration of utility model

Ref document number: 6819118

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150