JPWO2020080535A1 - 対象追跡方法、対象追跡システムおよび対象追跡プログラム - Google Patents
対象追跡方法、対象追跡システムおよび対象追跡プログラム Download PDFInfo
- Publication number
- JPWO2020080535A1 JPWO2020080535A1 JP2020553348A JP2020553348A JPWO2020080535A1 JP WO2020080535 A1 JPWO2020080535 A1 JP WO2020080535A1 JP 2020553348 A JP2020553348 A JP 2020553348A JP 2020553348 A JP2020553348 A JP 2020553348A JP WO2020080535 A1 JPWO2020080535 A1 JP WO2020080535A1
- Authority
- JP
- Japan
- Prior art keywords
- frame
- roi
- target
- recognition
- frame rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 179
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 18
- 238000002474 experimental method Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000003111 delayed effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Abstract
Description
図1は、本発明の実施形態に係る動画像のフレームを示す。フレームF0、F1、F2、F3、…、FN−1は、追跡の対象となる動画像のフレームである。フレームf1b、f1a、f2b、f2aは、ディープラーニングなどの学習的認識手法により、対象認識が実行されるフレームである。フレームfI1b、fI1a、fI2b、fI2aは、バッファ等に記憶された実画像である。
図2は、第1実施形態に係る対象追跡方法のフロー図である。
「開始」で、ある第1の周期についての学習的手法による対象の追跡が開始される。
図3は、第2実施形態に係る対象追跡方法のフロー図である。
第2実施形態は、第1実施形態のステップS4に代えて、ステップS41を備える。その他の処理は、第1実施形態と共通である。
図4は、第3実施形態に係る対象追跡方法のフロー図である。
第3実施形態は、第1実施形態の各処理に加えて、ステップS5をさらに備える。その他の処理は、第1実施形態と共通である。
図5は、第4実施形態に係る対象追跡方法のフロー図である。
第4実施形態は、第1実施形態の各処理に加えて、ステップS42およびステップS6をさらに備える。その他の処理は、第1実施形態と共通である。
図6は、第5実施形態に係る対象追跡方法のフロー図である。
第5実施形態は、第3実施形態の各処理に加えてステップS52およびステップS6をさらに備え、ステップS5に代えてステップS51を備える。その他の処理は、第3実施形態と共通である。
図7は、第6実施形態に係る対象追跡方法のフロー図である。
第6実施形態は、第1実施形態の各処理に加えてステップS7をさらに備え、ステップS3に代えてステップS31を備える。その他の処理は、第1実施形態と共通である。
図8は、第7実施形態に係る対象追跡方法のフロー図である。
第7実施形態は、第1実施形態の各処理に加えてステップS8をさらに備え、ステップS3に代えてステップS32を備える。その他の処理は、第1実施形態と共通である。
図9は、第8実施形態に係る対象追跡システムのブロック図である。
対象追跡システム1は、対象認識部10と、対象追跡部11と、補正部12と、初期化部13と、を備える。
本実施形態に係る対象追跡システムは、対象認識部10と、対象追跡部11と、補正部12と、初期化部13と、を備える対象追跡装置3と、その他の周辺装置を含む。対象追跡装置3の構成および動作は、第8実施例に係る対象追跡システム1の構成及び動作と共通であるため、説明を省略する。
追跡の対象は複数あってもよい。特にこれらの対象は、異なる速度で運動していてもよい。以下、図2を参照して、第9実施形態に係る対象追跡方法のフローを説明する。「開始」で、ある第1の周期についての学習的手法による対象の追跡が開始される。
本発明者らは、本発明の効果を確認するために、実施形態による対象追跡実験を行った。
ここでは比較例として、非特許文献1に記載の技術を用いた。実験は、サンプリングレート500fpsで取得した動画像に対し、これと同じフレームレート500fpsで相関フィルタを用いた追跡を行うとともに、フレームレート50fpsでディープラーニングによる対象認識を行うことにより行った。追跡が正常に機能している限り、ROI位置とテンプレートは相関フィルタによって更新され、追跡が継続される。追跡が外れて対象が見失われた場合は、ディープラーニングで認識された対象を基にテンプレートROIが更新され、これらを基に追跡が再開される。
本実施形態と比較例との違いは、本実施形態が、ディープラーニングによる対象認識時点のフレームとカレントフレームとの間のROIの差異を補正するステップを備える点である。その他の実験条件は、比較例と共通である。
S2・・・第2のフレームレートで、テンプレートを用いたテンプレートマッチングにより、動画像内の対象を追跡するステップ
S3・・・対象の認識が開始されたフレームのROIと、カレントフレームのROIとの間の差異を補正するステップ
S31・・・学習的認識手法による対象の認識が開始されたフレームのROI位置とテンプレートとを用いて記憶したフレームに対して、テンプレートマッチングによる追跡を実行することによって、対象の認識が開始されたフレームのROIと、カレントフレームのROIとの間の差異を補正するステップ
S32・・・学習的認識手法による対象の認識が開始されたフレームのROIと、予測されたカレントフレームのROIとの間の差異を補正するステップ
S4・・・補正されたROIに基づいて、カレントフレームのROI位置を初期化するステップ
S41・・・補正されたROIに基づいて、第1のフレームレートで、カレントフレームのROI位置を初期化するステップ
S42・・・テンプレートマッチングにより追跡された対象に基づいて、カレントフレームのROI位置を初期化
S5・・・学習的認識手法により認識された対象に基づいて、第1のフレームレートで、テンプレート及びROI位置を初期化するステップ
S51・・・学習的認識手法により認識された対象に基づいて、カレントフレームのテンプレート及びROI位置を初期化するステップ
S52・・・テンプレートマッチングにより追跡された対象に基づいて、カレントフレームのテンプレート及びROI位置を初期化するステップ
S6・・・対象の認識が開始されたフレームにおいて、学習的認識手法により認識された対象と、テンプレートマッチングにより追跡された対象との差を比較するステップ
S7・・・学習的認識手法による対象の認識が開始されたフレームからカレントフレームまでのフレームを記憶するステップ
S8・・・学習的認識手法による対象の認識が開始されたフレームの画像から、
カレントフレームの画像を予測するステップ
1・・・対象追跡システム
10・・・対象認識部
11・・・対象追跡部
12・・・補正部
13・・・初期化部
Claims (14)
- 第1のフレームレートで、学習的認識手法により、動画像内の少なくとも1つの対象を認識するステップと、
前記第1のフレームレートより高い第2のフレームレートで、テンプレートを用いたテンプレートマッチングにより、前記動画像内の対象を追跡するステップと、
前記学習的認識手法による対象の認識が開始されたフレームのROIと、前記第2のフレームレートでテンプレートマッチングを継続した結果現在に至ったカレントフレームのROIとの間の差異を補正するステップと、
前記補正されたROIに基づいて、前記カレントフレームのROI位置を初期化するステップと、を備える、
対象追跡方法。 - 前記差異を補正するステップは、前記対象の認識が開始されたフレームから前記カレントフレームまでの実画像を再生するステップを備える、
請求項1に記載の対象追跡方法。 - 前記実画像を再生するステップは、前記対象の認識が開始されたフレームから前記カレントフレームまでの実画像の一部を抽出したものを再生する、
請求項2に記載の対象追跡方法。 - 前記カレントフレームのROI位置は、前記第1のフレームレートで初期化されることを特徴とする、
請求項1乃至3のいずれか一項に記載の対象追跡方法。 - 前記学習的認識手法により認識された対象に基づいて、前記第1のフレームレートで、前記テンプレートを初期化するステップをさらに備える、
請求項1乃至4のいずれか一項に記載の対象追跡方法。 - 対象の認識が開始されたフレームにおいて、前記学習的認識手法により認識された対象と、前記テンプレートマッチングにより追跡された対象とを比較するステップをさらに備え、
前記比較するステップでの比較結果が所定の値以下のときは、前記ROI位置は、前記テンプレートマッチングにより追跡された対象に基づいて初期化され、
前記比較するステップでの比較結果が所定の値より大きいときは、前記ROI位置は、前記補正されたROIに基づいて初期化されることを特徴とする、
請求項1乃至3のいずれか1項に記載の対象追跡方法。 - 対象の認識が開始されたフレームにおいて、前記学習的認識手法により認識された対象と、前記テンプレートマッチングにより追跡された対象とを比較するステップをさらに備え、
前記比較するステップでの比較結果が所定の値以下のときは、前記テンプレート及びROI位置は、前記テンプレートマッチングにより追跡された対象に基づいて初期化され、
前記比較するステップでの比較結果が所定の値より大きいときは、前記テンプレート及びROI位置は、前記学習的認識手法により認識された対象に基づいて初期化されることを特徴とする、
請求項1乃至3のいずれか一項に記載の対象追跡方法。 - 前記学習的認識手法による対象の認識が開始されたフレームからカレントフレームまでのフレームを記憶するステップをさらに備え、
前記差異を補正するステップは、前記学習的認識手法による対象の認識が開始されたフレームのROI位置とテンプレートとを用いて、前記記憶したフレームに対して、テンプレートマッチングによる追跡を実行することによって行われることを特徴とする、
請求項1に記載の対象追跡方法。 - 第1のフレームレートで、学習的認識手法により、動画像内の対象を認識するステップと、
前記第1のフレームレートより高い第2のフレームレートで、テンプレートを用いたテンプレートマッチングにより、前記動画像内の対象を追跡するステップと、
前記学習的認識手法による対象の認識が開始されたフレームの画像から、前記第2のフレームレートでテンプレートマッチングを継続した結果現在に至ったカレントフレームの画像を予測するステップと、
前記学習的認識手法による対象の認識が開始されたフレームのROIと、前記予測されたカレントフレームのROIとの間の差異を補正するステップと、
前記補正されたROIに基づいて、カレントフレームのROI位置を初期化するステップと、を備える、
対象追跡方法。 - 前記学習的認識手法は、ディープラーニングを含むことを特徴とする、
請求項1乃至9のいずれか一項に記載の対象追跡方法。 - 前記動画像は、高速カメラにより撮影された動画像であることを特徴とする、
請求項1乃至10のいずれか一項に記載の対象追跡方法。 - 前記第2のフレームレートは、前記第1のフレームレートの8倍以上であることを特徴とする、
請求項1乃至11のいずれか一項に記載の対象追跡方法。 - 第1のフレームレートで、学習的認識手法により、動画像内の少なくとも1つの対象を認識する対象認識部と、
前記第1のフレームレートより高い第2のフレームレートで、テンプレートを用いたテンプレートマッチングにより、前記動画像内の対象を追跡する対象追跡部と、
前記学習的認識手法による対象の認識が開始されたフレームのROIと、前記第2のフレームレートでテンプレートマッチングを継続した結果現在に至ったカレントフレームのROIとの間の差異を補正する補正部と、
前記補正されたROIに基づいて、前記カレントフレームのROI位置を初期化するROI位置初期化部と、を備える、
対象追跡システム。 - 第1のフレームレートで、学習的認識手法により、動画像内の少なくとも1つの対象を認識するステップと、
前記第1のフレームレートより高い第2のフレームレートで、テンプレートを用いたテンプレートマッチングにより、前記動画像内の対象を追跡するステップと、
前記学習的認識手法による対象の認識が開始されたフレームのROIと、前記第2のフレームレートでテンプレートマッチングを継続した結果現在に至ったカレントフレームのROIとの間の差異を補正するステップと、
前記補正されたROIに基づいて、前記カレントフレームのROI位置を初期化するステップと、をコンピュータに実行させる
対象追跡プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018196575 | 2018-10-18 | ||
JP2018196575 | 2018-10-18 | ||
PCT/JP2019/041143 WO2020080535A1 (ja) | 2018-10-18 | 2019-10-18 | 対象追跡方法、対象追跡システムおよび対象追跡プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2020080535A1 true JPWO2020080535A1 (ja) | 2021-10-07 |
JPWO2020080535A5 JPWO2020080535A5 (ja) | 2022-09-27 |
JP7477168B2 JP7477168B2 (ja) | 2024-05-01 |
Family
ID=70283112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020553348A Active JP7477168B2 (ja) | 2018-10-18 | 2019-10-18 | 対象追跡方法、対象追跡システムおよび対象追跡プログラム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7477168B2 (ja) |
CN (1) | CN112655018A (ja) |
WO (1) | WO2020080535A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7053057B2 (ja) * | 2020-05-19 | 2022-04-12 | 技研トラステム株式会社 | 移動体追跡装置及び移動体追跡方法 |
CN112489085A (zh) * | 2020-12-11 | 2021-03-12 | 北京澎思科技有限公司 | 目标跟踪方法、目标跟踪装置、电子设备及存储介质 |
TWI770725B (zh) * | 2020-12-17 | 2022-07-11 | 竹陞科技股份有限公司 | 軌跡追蹤系統以及軌跡追蹤方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5488076B2 (ja) * | 2010-03-15 | 2014-05-14 | オムロン株式会社 | 対象物追跡装置、対象物追跡方法、および制御プログラム |
JP5613016B2 (ja) * | 2010-10-29 | 2014-10-22 | 株式会社キーエンス | 動画追尾装置、動画追尾方法および動画追尾プログラム |
JP5789578B2 (ja) * | 2012-09-20 | 2015-10-07 | 富士フイルム株式会社 | 眼の開閉判断方法及び装置、プログラム、並びに監視映像システム |
JP2014063280A (ja) * | 2012-09-20 | 2014-04-10 | Fujifilm Corp | オブジェクト追跡方法及び装置、並びにプログラム |
CN103679130B (zh) * | 2012-09-24 | 2018-04-13 | 富士通株式会社 | 手追踪方法、手追踪设备和手势识别系统 |
JP6265370B2 (ja) * | 2013-08-21 | 2018-01-24 | 国立大学法人富山大学 | 対象物追跡方法及び対象物追跡システム |
JP6420605B2 (ja) * | 2014-09-24 | 2018-11-07 | Kddi株式会社 | 画像処理装置 |
EP3023938A1 (en) * | 2014-11-21 | 2016-05-25 | Thomson Licensing | Method and apparatus for tracking the motion of image content in a video frames sequence using sub-pixel resolution motion estimation |
JP6491517B2 (ja) * | 2015-03-31 | 2019-03-27 | Kddi株式会社 | 画像認識ar装置並びにその姿勢推定装置及び姿勢追跡装置 |
CN105631899B (zh) * | 2015-12-28 | 2019-01-04 | 哈尔滨工业大学 | 一种基于灰度纹理特征的超声图像运动目标跟踪方法 |
JP6869672B2 (ja) * | 2016-09-14 | 2021-05-12 | 株式会社デンソーアイティーラボラトリ | 物体追従システム、物体追従装置、物体追従方法、及び物体追従プログラム |
-
2019
- 2019-10-18 WO PCT/JP2019/041143 patent/WO2020080535A1/ja active Application Filing
- 2019-10-18 CN CN201980058513.9A patent/CN112655018A/zh active Pending
- 2019-10-18 JP JP2020553348A patent/JP7477168B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
CN112655018A (zh) | 2021-04-13 |
JP7477168B2 (ja) | 2024-05-01 |
WO2020080535A1 (ja) | 2020-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7477168B2 (ja) | 対象追跡方法、対象追跡システムおよび対象追跡プログラム | |
US10165157B2 (en) | Method and device for hybrid robotic/virtual pan-tilt-zoom cameras for autonomous event recording | |
US8098885B2 (en) | Robust online face tracking | |
CN108198199B (zh) | 运动物体跟踪方法、运动物体跟踪装置和电子设备 | |
US10853950B2 (en) | Moving object detection apparatus, moving object detection method and program | |
KR101071352B1 (ko) | 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법 | |
US9838604B2 (en) | Method and system for stabilizing video frames | |
US20200160539A1 (en) | Moving object detection system and method | |
CN110555377B (zh) | 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法 | |
US20050052533A1 (en) | Object tracking method and object tracking apparatus | |
US20140037212A1 (en) | Image processing method and device | |
US10200618B2 (en) | Automatic device operation and object tracking based on learning of smooth predictors | |
US11593949B2 (en) | Method of detecting moving objects via a moving camera, and related processing system, device and computer-program product | |
WO2010151215A1 (en) | Real time video stabilization | |
KR101396838B1 (ko) | 다수의 모션 모델을 선택적으로 이용하는 영상 안정화 방법 및 시스템 | |
Liu et al. | Application of ghost-deblurGAN to fiducial marker detection | |
Ueno et al. | Motion-blur-free microscopic video shooting based on frame-by-frame intermittent tracking | |
Monari et al. | A real-time image-to-panorama registration approach for background subtraction using pan-tilt-cameras | |
Wang et al. | Motion prediction in visual object tracking | |
KR101576426B1 (ko) | 어안 렌즈를 이용한 감시 장치 및 방법 | |
CN110119649B (zh) | 电子设备状态跟踪方法、装置、电子设备及控制系统 | |
US10708501B2 (en) | Prominent region detection in scenes from sequence of image frames | |
Qigui | Search on automatic target tracking based on PTZ system | |
Jain et al. | Inter-bmv: Interpolation with block motion vectors for fast semantic segmentation on video | |
Liu et al. | BACTrack: Building Appearance Collection for Aerial Tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220915 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230912 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240411 |