JP6708368B2 - 変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム - Google Patents
変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム Download PDFInfo
- Publication number
- JP6708368B2 JP6708368B2 JP2015084093A JP2015084093A JP6708368B2 JP 6708368 B2 JP6708368 B2 JP 6708368B2 JP 2015084093 A JP2015084093 A JP 2015084093A JP 2015084093 A JP2015084093 A JP 2015084093A JP 6708368 B2 JP6708368 B2 JP 6708368B2
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- vehicle
- tracked
- detected
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 73
- 238000012545 processing Methods 0.000 title claims description 24
- 238000001514 detection method Methods 0.000 claims description 52
- 230000033001 locomotion Effects 0.000 claims description 48
- 230000004044 response Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 9
- 230000005489 elastic deformation Effects 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 241000257465 Echinoidea Species 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 22
- 238000013459 approach Methods 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 239000002245 particle Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000004807 localization Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 235000013305 food Nutrition 0.000 description 4
- 230000003139 buffering effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- NCEXYHBECQHGNR-UHFFFAOYSA-N chembl421 Chemical compound C1=C(O)C(C(=O)O)=CC(N=NC=2C=CC(=CC=2)S(=O)(=O)NC=2N=CC=CC=2)=C1 NCEXYHBECQHGNR-UHFFFAOYSA-N 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 235000013410 fast food Nutrition 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000270295 Serpentes Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000010828 elution Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
1)ビデオカメラを介して関心領域を連続的に監視すること。
2)カメラのFOV内に関心領域を定義すること(必要に応じて)。
3)車両が定義されたROI内に存在することがある候補フレームを識別すること。
4)識別された候補フレームにおいて車両の部分を検出すること。
5)検出された車両部分が既に追跡されているかどうかを検査すること。
6)車両の非隠蔽部分を追跡し、複数の映像フレームにわたって車両を追跡し続けるために追跡部を初期化すること。
X. Zhu, D. Ramanan, “Face Detection, Pose Estimation, and Landmark Localization in the Wild”, 2012 CVPRにおいて、Zhu及びRamananは、顔検出及び姿勢推定のために物体の弾性変形可能な3D構造を符号化するための単純なアプローチを有する顔検出モデルを展開した。それは、各ランドマークの位置で定義された部分の共有プールとツリー(姿勢)の混合を使用する。そして、視点によるトポロジの変化をモデル化するためにグローバル混合を使用する。論文は、グローバル混合がまた単一視点についての粗変形変更を捕捉するために使用可能であることを示している。X. Zhu, D. Ramanan, “Face Detection, Pose Estimation, and Landmark Localization in the Wild”, 2012 CVPRは、以下の式(1)に示されるようなスコア関数により、所定の画像Iについて部分L={li:i∈V}の各特定の構成を評価する。
映像取得モジュールは、関心領域の映像をキャプチャする少なくとも1つのビデオカメラを備える。空間的又は時間的解像度の面で特別な要件は必要ない。しかしながら、従来の監視カメラは、通常、VGA及び上記(640×480)の画素解像度並びに15fps(フレーム毎秒)及び上記のフレームレートを有するIPカメラである。1つの例示的な実施形態によれば、システムは、320×240画素解像度及び30fpsのフレームレートを有する自動露出RGBカメラを含むことができる。
必要に応じて、関心領域(ROI)は、画像平面上に定義されることができる。図3及び図4は、例えば、図1及び図2に示されるような隣り合ったドライブスルー設定における車両の自動順序付けについて定義された2つの関心領域30及び40をそれぞれ図示している。ROIのそれぞれは、シーン内の注文ポイントの1つに対応している。ROIは、カメラ設置中に手動で定義可能である。ROIの定義は、追跡部の初期化前に車両部分検出処理のための検索スペースを低減することから、映像分析アルゴリズムの計算負荷を低減する。
キャプチャされた映像の全てのフレームにおける関心領域内の車両部分検索を実行すると、特にキャプチャされた映像の解像度及びフレームレートが高い場合には計算的に高価である。リアルタイム処理を満たす車両追跡システムを提供するために、キャプチャされた映像は、通常、車両が定義されたROI内に存在することができる候補フレームを識別するように処理される。車両部分検出処理は、候補フレームためにのみ実行され、それにより、システムの計算効率を高め、車両追跡システムの車両検知性能、すなわち検出精度も高める。検出精度は、候補フレーム中のみの車両部分検出を行うことが検索スペースを低減し、したがって非候補フレームから可能な誤検出を排除することから改善される。候補フレームは、これらに限定されるものではないが、以下を含むいくつかの方法で識別されることができる。
このステップにおいて、手で最も効果的なユーザの情報を作成するために、2つの別個のモデルが、注文ポイントA 14(図5)及び注文ポイントB 16(図6)から到来する車両について展開される。これらのモデルのそれぞれは、注文ポイントA 14における視点と注文ポイントB 16におけるものとの間で利用可能な情報を区別することに焦点を当てている。注文ポイントA 14から到来する車両について、車両上部モデルは、フロントガラスやサイドウィンドウの境界に14のランドマーク20、22、24、26、28、30、32、34、36、38、40、42、44及び46を配置することによって展開される。上部モデルのランドマークが図7に示されており、得られたモデルは図5に示されている。このモデルが注文ポイントAから到来する車両について展開された理由は、車両の上部が通常はシーン内の他の車両によって隠蔽されないためである。これは、バン12がセダン10を部分的に隠蔽するが、セダン10の上部はなおも視認可能である図1及び図2にみることができる。したがって、セダンについての追跡部は、セダンのフロントガラスやサイドウィンドウで開始された場合には隠蔽によって影響を受けない。
車両部分が関心領域内で検出された場合、検出された部分は、それが既に追跡されている車両部分に対応するかどうかを判定するために最初に検査される。注文ポイントにおける車両が異なる別個の時間セグメントで異なる動きを呈することがあることから、この検査は有益である。例えば、車両は、高トラフィックシナリオにおいては注文ポイントにおいてのろのろ運転タイプの動き特性を示すことがある。この場合、異なる追跡部は、その動きを含む2つの別個の時間セグメントについて同じ車両に誤って割り当てられることがあった。
検出車両部分が既に追跡されている車両部分のリストにない場合、属性/特徴のセットが車両部分検出領域から抽出される。抽出された属性/特徴は、使用される追跡部の種類に依存する。ポイント追跡部、例えばKLTが追跡のために使用される場合、抽出された特徴は、以下の1つ以上を含むことができる。
Claims (10)
- メモリと、メモリと動作可能に関連付けられ、シーンのディジタル画像を受信して撮像装置によって撮像されたシーン内の他の物体によって部分的に隠蔽された物体を追跡する方法を行うための命令を実行するように構成されたプロセッサとを備え、方法が、
a)撮像装置を介して連続的に関心領域を監視することと、
b)撮像装置によって撮像された候補フレームを識別することであり、候補フレームの1つ以上が1つ以上の定義されたROI(関心領域)内の車両を含む可能性があることと、
c)トレーニングサンプルのセットの他の車両によって隠蔽されていない非隠蔽部分から抽出された特徴を使用してトレーニングされた1つ以上の分類器を使用して候補フレームのうちの1つ以上における車両の非隠蔽部分を検出することと、
d)撮像装置によって撮像された連続する複数の映像フレームにわたって車両の前記非隠蔽部分を追跡することとを備える画像処理システム。 - ステップd)の前に、方法が、
車両の検出された非隠蔽部分が既に追跡されているかどうかを検査することを備える、 請求項1に記載の画像処理システム。 - ステップb)の前に、方法が、
撮像装置と関連付けられた視野(FOV)と関連付けられた関心領域(ROI)を定義することを備える、請求項1に記載の画像処理システム。 - ステップb)の前に、方法が、
隣り合ったドライブスルー構造における車両の自動順序付けのために2つ以上のROIを定義することを備える、請求項3に記載の画像処理システム。 - ガウス混合モデル、固有背景、主成分分析又は移動平均算出を含む背景減算処理を使用して候補フレームが識別される、請求項1に記載の画像処理システム。
- プロセッサと通信するメモリ及びプロセッサを含む自動順序付け装置を備え、イベント順序を更新するシステムであって、プロセッサが、
各画像ソースが画像平面と関連付けられている少なくとも1つの画像ソースからキュー領域の映像データを取得し、
対象がキュー領域における複数のキューのうちの1つに位置するときに各イベント要求が受信される多数の個々のイベント要求を複数の対象から受信し、
弾性変形モデルを使用して映像データを処理し、各開始ポイントが映像データにおける複数のキューのうちの1つと関連付けられた位置に対応するような複数の開始ポイントのうちの少なくとも1つに位置する対象を検出し、
後続の連続する一連のフレームにわたってキュー領域を通る各検出対象の移動を追跡し、
追跡された対象の位置が、キュー領域における複数のキューが単一のキューレーンに収束する画像平面上での所定の合流ポイントに到達したかどうかを判定し、
追跡された対象が所定の合流ポイントに到達したのに応じて、追跡された対象が既に合流ポイントを過ぎた及び単一のキューレーンにおける終了イベントポイントに接近する他の対象に対して位置する観察順序を算出し、
単一のキューレーンにおける対象の観察順序と一致するようにイベントの順序を更新し、
検出されて追跡された前記対象が他の対象によって部分的に隠蔽され、前記対象の非隠蔽部分が弾性変形モデルによって検出されて追跡される、
ように構成されているシステム。 - 動き内の物体を検出するのに応じて、検出された動き内の物体を候補対象として関連付ける、請求項6に記載のイベント順序を更新するシステム。
- メモリ及びプロセッサが、さらに、
取得した映像データを処理して候補対象を判定し、
新たな対象及び現在追跡されている対象のうちの一方に属するものとして各候補対象を分類し、
候補対象が新たな対象であることに応じて、追跡部を新たな対象に割り当て、
候補対象が現在追跡されている対象であることに応じて、候補対象を破棄するように構成されている、請求項7に記載のイベント順序を更新するシステム。 - 候補対象が、背景減算処理及び動き検出処理のうちの一方を使用して識別される候補映像フレームから判定される、請求項8に記載のイベント順序を更新するシステム。
- メモリ及びプロセッサが、さらに、
検出された各候補対象から特徴記述子を抽出し、
閾値及び現在の追跡部の対応する記述子のうちの一方と抽出された特徴記述子を比較し、
比較に基づいて、新たな対象及び現在追跡されている対象のうちの一方に属するものとして検出された各候補対象を分類するように構成されている、請求項8に記載のイベント順序を更新するシステム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461984327P | 2014-04-25 | 2014-04-25 | |
US61/984,327 | 2014-04-25 | ||
US14/632,237 US9779331B2 (en) | 2014-04-24 | 2015-02-26 | Method and system for partial occlusion handling in vehicle tracking using deformable parts model |
US14/632,237 | 2015-02-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015210823A JP2015210823A (ja) | 2015-11-24 |
JP6708368B2 true JP6708368B2 (ja) | 2020-06-10 |
Family
ID=54612902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015084093A Expired - Fee Related JP6708368B2 (ja) | 2014-04-25 | 2015-04-16 | 変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6708368B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7067023B2 (ja) * | 2017-11-10 | 2022-05-16 | 富士通株式会社 | 情報処理装置、背景更新方法および背景更新プログラム |
CN110532838A (zh) * | 2018-05-25 | 2019-12-03 | 佳能株式会社 | 对象检测装置和方法及存储介质 |
US10795362B2 (en) * | 2018-08-20 | 2020-10-06 | Waymo Llc | Detecting and responding to processions for autonomous vehicles |
JP2022123755A (ja) * | 2021-02-12 | 2022-08-24 | 株式会社豊田自動織機 | 水素充填設備 |
CN114820931B (zh) * | 2022-04-24 | 2023-03-24 | 江苏鼎集智能科技股份有限公司 | 基于虚拟现实的智慧城市cim可视化实时成像方法 |
KR102540113B1 (ko) * | 2023-02-22 | 2023-06-08 | 국방과학연구소 | 다중 스펙트럼 탐지에 대한 위장 패턴의 제조 방법, 위장 패턴의 최적화 방법 및 이를 위한 전자 장치 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8401230B2 (en) * | 2010-11-01 | 2013-03-19 | Xerox Corporation | Signature based drive-through order tracking system and method |
JP2013195725A (ja) * | 2012-03-21 | 2013-09-30 | Dainippon Printing Co Ltd | 画像表示システム |
US8698896B2 (en) * | 2012-08-06 | 2014-04-15 | Cloudparc, Inc. | Controlling vehicle use of parking spaces and parking violations within the parking spaces using multiple cameras |
-
2015
- 2015-04-16 JP JP2015084093A patent/JP6708368B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015210823A (ja) | 2015-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9779331B2 (en) | Method and system for partial occlusion handling in vehicle tracking using deformable parts model | |
US10176384B2 (en) | Method and system for automated sequencing of vehicles in side-by-side drive-thru configurations via appearance-based classification | |
JP6630485B2 (ja) | ドライブスルー用途において車両を自動的に順序付けするための映像追跡に基づく方法 | |
JP6708368B2 (ja) | 変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム | |
US9405974B2 (en) | System and method for using apparent size and orientation of an object to improve video-based tracking in regularized environments | |
US8249301B2 (en) | Video object classification | |
US8774532B2 (en) | Calibration of video object classification | |
JP5124592B2 (ja) | 車両を検出および追跡するためのシステムおよび方法 | |
EP2345999A1 (en) | Method for automatic detection and tracking of multiple objects | |
Hsu et al. | Passenger flow counting in buses based on deep learning using surveillance video | |
KR101360349B1 (ko) | 객체의 특징 정보에 기반한 객체 추적 방법 및 장치 | |
US20170006215A1 (en) | Methods and systems for controlling a camera to perform a task | |
KR20220032681A (ko) | 노상 주차장의 주차 관리 방법 | |
EP2259221A1 (en) | Computer system and method for tracking objects in video data | |
Vasuhi et al. | Target detection and tracking for video surveillance | |
US20080198237A1 (en) | System and method for adaptive pixel segmentation from image sequences | |
JP6616093B2 (ja) | 外観ベースの分類による隣り合ったドライブスルー構造における車両の自動順位付け方法及びシステム | |
Badgujar et al. | A Survey on object detect, track and identify using video surveillance | |
Bhusal | Object detection and tracking in wide area surveillance using thermal imagery | |
DE102015207055A1 (de) | Verfahren und System zur Handhabung einer Teilverdeckung bei der Fahrzeugverfolgung mittels eines Modells für verformbare Teile | |
Yao et al. | Multi-Person Bayesian Tracking with Multiple Cameras. | |
US20230154224A1 (en) | Machine-vision person tracking in service environment | |
JP7488673B2 (ja) | 移動物体追跡装置、移動物体追跡方法及び移動物体追跡プログラム | |
Shibayama et al. | On-board pedestrian detection by the motion and the cascaded classifiers | |
Mahalakshmi et al. | Research Analysis of Dynamic Human Object Tracking Algorithm with Various Tracking Parameters under Complex Environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20150514 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150717 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180413 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20181010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200428 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200521 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6708368 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |