JP7334432B2 - 物体追跡装置、監視システムおよび物体追跡方法 - Google Patents
物体追跡装置、監視システムおよび物体追跡方法 Download PDFInfo
- Publication number
- JP7334432B2 JP7334432B2 JP2019049168A JP2019049168A JP7334432B2 JP 7334432 B2 JP7334432 B2 JP 7334432B2 JP 2019049168 A JP2019049168 A JP 2019049168A JP 2019049168 A JP2019049168 A JP 2019049168A JP 7334432 B2 JP7334432 B2 JP 7334432B2
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- image
- frame image
- peak
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
とも何れかが挙げられる。本発明の尤度算出手段は、第1特徴量に基づく第1尤度と第2特徴量に基づく第2尤度とを求め、これらを合成した合成尤度のマップを生成してもよい
。
図1を参照して、本発明に係る物体追跡装置の適用例を説明する。人追跡装置1は、追跡対象エリア11の上方(例えば天井12など)に設置された魚眼カメラ10により得られた魚眼画像を解析して、追跡対象エリア11内に存在する人13を検出・追跡する装置である。この人追跡装置1は、例えば、オフィスや工場などにおいて、追跡対象エリア11を通行する人13の検出、認識、追跡などを行う。図1の例では、魚眼画像から検出された4つの人体それぞれの領域がバウンディングボックスで示されている。人追跡装置1の検出結果は、外部装置に出力され、例えば、人数のカウント、照明や空調など各種機器の制御、不審者の監視および動線分析などに利用される。
図2を参照して、本発明の実施形態を説明する。図2は、本発明の実施形態に係る人追跡装置を適用した監視システムの構成を示すブロック図である。監視システム2は、魚眼カメラ10と人追跡装置1とを備えている。
23、追跡部24、出力部28を有している。
図3は、監視システム2による人追跡処理の全体フローチャートである。図3に沿って人追跡処理の全体的な流れを説明する。
図4は、ステップS107の学習処理の詳細を示すフローチャートである。また、図7は学習処理および学習結果を用いた追跡処理を説明する図である。以下、図4および図7を参照して学習処理について説明する。
図5は、ステップS106の追跡処理の詳細を示すフローチャートである。また、図7は学習処理および学習結果を用いた追跡処理を説明する図である。以下、図5および図7を参照して追跡処理について説明する。
現する。
)、位置特定部27は、処理対象のピークを選択し、そのピーク位置および平均色差を記憶部23に格納する。
を用いる方法で推定してもよいし、前フレームにおけるターゲット領域のサイズ、レンズ歪みの特性、カメラの視点、カメラの配置およびターゲット領域の画像における位置の少なくともいずれかに基づいて決定されてもよい。追跡処理完了後のターゲット領域の中心が追跡対象人物の中心位置であり、ターゲット領域中の前景領域が追跡対象人物の存在領域(バウンディングボックス)である。
本実施形態では、魚眼画像を平面展開せずに用いる人追跡装置において、背景へのドリフトを抑制し、精度の高い人追跡が実現できる。ドリフトは、逐次学習を行う際に追跡対象以外の特徴を誤って学習することに起因して発生する追跡の失敗である。画像中に追跡対象人物と類似する物体(背景)が存在する場合、複雑背景下の場合および遮蔽が存在する場合などに生じる。一般に、追跡対象人物に類似する物体(背景)があるとき、複雑背景下および遮蔽が存在するときには、尤度のマップにおいて複数のピークが現れる。そして、このような場合に、追跡対象以外の物体に対応するピークを誤って選択するとドリフトが生じる。本実施形態では、合成尤度のマップに複数のピークが現れる場合に、単に尤度が最大のピークを選択するのではなく、中心位置の平均色を考慮してピーク選択を行っている。これにより、追跡対象以外の物体に対応するピークを誤って選択すること、すなわちドリフトの発生を低減できる。ドリフトの発生を低減できると、追跡結果のエラーが少なくなり、精度の高い追跡が実現できる。
形態の手法は、計算資源が少ない組込機器でも実現できる。
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
(1)第1フレーム画像における対象物の位置を取得する取得手段(21)と、
前記第1フレーム画像の後のフレーム画像である第2フレーム画像から、前記対象物の位置を求める追跡手段(24)と、
を備える、物体追跡装置(1)であって、
前記追跡手段は、
前記第2フレーム画像の対象領域から特徴量を抽出する特徴量抽出手段(25)と、
前記第2フレーム画像の前記対象領域について、前記対象物が存在する確からしさを表す尤度のマップを前記特徴量に基づいて求める尤度算出手段(26)と、
前記尤度のマップにおいてピークが1つの場合には、当該ピークの位置を前記対象物の位置として特定し、前記尤度のマップにおいてピークが複数ある場合には、前記第1フレームの前記対象物の位置の近傍の画像領域と前記第2フレームの各ピークの近傍の画像領域との類似度を表す画像類似度を考慮して選択されるピークの位置を前記対象物の位置として特定する、位置決定手段(27)と、
を備える、ことを特徴とする物体追跡装置(1)。
前記第1フレーム画像の後のフレーム画像である第2フレーム画像から、前記対象物の位置を求める追跡ステップと(S106)、
を含む、物体追跡方法であって、
前記追跡ステップは、
前記第2フレーム画像の対象領域から特徴量を抽出する特徴量抽出ステップ(S302,S304)と、
前記第2フレーム画像の前記対象領域について、前記対象物が存在する確からしさを表す尤度のマップを前記特徴量に基づいて求める尤度算出ステップ(S303,S305,S306)と、
前記尤度のマップにおいてピークが1つの場合には、当該ピークの位置を前記対象物の位置として特定し、前記尤度のマップにおいてピークが複数ある場合には、前記第1フレームの前記対象物の位置の近傍の画像領域と前記第2フレームの各ピークの近傍の画像領域との類似度を表す画像類似度を考慮して選択されるピークの位置を前記対象物の位置として特定する、位置決定ステップ(S307)と、
を含む、ことを特徴とする物体追跡方法。
2:監視システム
10:魚眼カメラ
11:追跡対象エリア
12:天井
13:人
Claims (7)
- 対象物の特徴を記憶する記憶手段と、
魚眼カメラにより得られた魚眼画像である第1フレーム画像における前記対象物の位置を取得する取得手段と、
魚眼カメラにより得られた魚眼画像であり、前記第1フレーム画像の後のフレーム画像である第2フレーム画像から、前記対象物の位置を求める追跡手段と、
前記追跡手段が求めた、前記第2フレーム画像における前記対象物の位置の画像を用いて前記対象物の前記特徴を更新する学習手段と、
を備える、物体追跡装置であって、
前記追跡手段は、
前記第2フレーム画像の対象領域から特徴量を抽出する特徴量抽出手段と、
前記第2フレーム画像の前記対象領域について、前記対象物が存在する確からしさを表す尤度のマップを前記特徴量および前記記憶手段に記憶されている前記対象物の特徴に基づいて求める尤度算出手段と、
前記尤度のマップにおいてピークが1つの場合には、当該ピークの位置を前記対象物の位置として特定し、前記尤度のマップにおいてピークが複数ある場合には、尤度の値が閾値以上のピークのうち、前記第1フレーム画像の前記対象物の位置の近傍の画像領域と前記第2フレーム画像の各ピークの近傍の画像領域との平均色の差、差の絶対値、または差の二乗が最小であるピークの位置を前記対象物の位置として特定する、位置決定手段と、
を備え、
前記閾値は、前記平均色の差、差の絶対値、または差の二乗が小さいほど値が大きく決定される、
ことを特徴とする物体追跡装置。 - 前記特徴量抽出手段は、形状に関する特徴量である第1特徴量と、色または輝度に関する特徴量である第2特徴量とを抽出し、
前記尤度算出手段は、前記第1特徴量に基づく第1尤度と前記第2特徴量に基づく第2尤度とを合成した合成尤度のマップを前記尤度のマップとして求める、
ことを特徴とする、請求項1に記載の物体追跡装置。 - 前記第1特徴量は、HOG特徴量、LBP特徴量、SHIFT特徴量、SURF特徴量の少なくともいずれかであり、
前記第2特徴量は、輝度ヒストグラム、色ヒストグラム、Color Names特徴量の少なく
ともいずれかである
ことを特徴とする、請求項2に記載の物体追跡装置。 - 前記ピークの位置の特定、および前記閾値の決定は、平均色の差、差の絶対値、または差の二乗に加えて、
前記画像領域における、平均輝度、代表色の少なくともいずれかを含む画像情報の差、差の絶対値、差の二乗の少なくともいずれかに基づいて決定される、あるいは、
前記画像領域における、形状に関する特徴量である第1特徴量または色または輝度に関する特徴量である第2特徴量の少なくともいずれかの、ヒストグラムインタセクション、バタチャリヤ係数、Earth Mover’s Distanceの少なくともいずれかに基づいて行われる、
ことを特徴とする、請求項1から3のいずれか1項に記載の物体追跡装置。 - 請求項1から4のいずれか1項に記載の物体追跡装置と、
前記魚眼カメラと、
を備える監視システム。 - 対象物の特徴を記憶する記憶ステップと
魚眼カメラにより得られた魚眼画像である第1フレーム画像における前記対象物の位置を取得する取得ステップと、
魚眼カメラにより得られた魚眼画像であり、前記第1フレーム画像の後のフレーム画像である第2フレーム画像から、前記対象物の位置を求める追跡ステップと、
前記追跡ステップにおいて求めた、前記第2フレーム画像における前記対象物の位置の画像を用いて前記対象物の前記特徴を更新する学習ステップと、
を含む、物体追跡方法であって、
前記追跡ステップは、
前記第2フレーム画像の対象領域から特徴量を抽出する特徴量抽出ステップと、
前記第2フレーム画像の前記対象領域について、前記対象物が存在する確からしさを表す尤度のマップを前記特徴量および前記学習ステップにおいて更新された前記対象物の特徴に基づいて求める尤度算出ステップと、
前記尤度のマップにおいてピークが1つの場合には、当該ピークの位置を前記対象物の位置として特定し、前記尤度のマップにおいてピークが複数ある場合には、尤度の値が閾値以上のピークのうち、前記第1フレーム画像の前記対象物の位置の近傍の画像領域と前記第2フレーム画像の各ピークの近傍の画像領域との平均色の差、差の絶対値、または差の二乗が最小であるピークの位置を前記対象物の位置として特定する、位置決定ステップと、
を含み、
前記閾値は、前記平均色の差、差の絶対値、または差の二乗が小さいほど値が大きく決定される、
ことを特徴とする物体追跡方法。 - 請求項6に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019049168A JP7334432B2 (ja) | 2019-03-15 | 2019-03-15 | 物体追跡装置、監視システムおよび物体追跡方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019049168A JP7334432B2 (ja) | 2019-03-15 | 2019-03-15 | 物体追跡装置、監視システムおよび物体追跡方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020149641A JP2020149641A (ja) | 2020-09-17 |
JP7334432B2 true JP7334432B2 (ja) | 2023-08-29 |
Family
ID=72430665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019049168A Active JP7334432B2 (ja) | 2019-03-15 | 2019-03-15 | 物体追跡装置、監視システムおよび物体追跡方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7334432B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112215205B (zh) * | 2020-11-06 | 2022-10-18 | 腾讯科技(深圳)有限公司 | 目标识别方法、装置、计算机设备和存储介质 |
JP7439784B2 (ja) * | 2021-03-12 | 2024-02-28 | オムロン株式会社 | 画像処理装置および画像処理方法 |
EP4184432A4 (en) * | 2021-09-30 | 2023-10-11 | Rakuten Group, Inc. | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING PROGRAM |
CN116088558A (zh) * | 2021-11-05 | 2023-05-09 | 中移(成都)信息通信科技有限公司 | 一种无人机目标跟踪方法、装置、电子设备及存储介质 |
CN113949881B (zh) * | 2021-11-15 | 2023-10-03 | 山东瑞瀚网络科技有限公司 | 一种基于智慧城市数据的业务处理方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010039788A (ja) | 2008-08-05 | 2010-02-18 | Toshiba Corp | 画像処理装置及びその方法並びに画像処理プログラム |
JP2011100175A (ja) | 2009-11-04 | 2011-05-19 | Nippon Hoso Kyokai <Nhk> | 人物行動判定装置及びそのプログラム |
JP2016162096A (ja) | 2015-02-27 | 2016-09-05 | セコム株式会社 | 移動物体追跡装置 |
JP2017085564A (ja) | 2015-10-23 | 2017-05-18 | 株式会社モルフォ | 画像処理装置、電子機器、画像処理方法及びプログラム |
JP2017182437A (ja) | 2016-03-30 | 2017-10-05 | 株式会社エクォス・リサーチ | 画像認識装置、移動体装置、及び画像認識プログラム |
JP2018147329A (ja) | 2017-03-07 | 2018-09-20 | 株式会社デンソーテン | 画像処理装置、画像処理システム、及び画像処理方法 |
WO2018221629A1 (ja) | 2017-06-01 | 2018-12-06 | 日本電気株式会社 | 画像処理装置、追跡方法およびプログラム記録媒体 |
JP2019016098A (ja) | 2017-07-05 | 2019-01-31 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2019
- 2019-03-15 JP JP2019049168A patent/JP7334432B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010039788A (ja) | 2008-08-05 | 2010-02-18 | Toshiba Corp | 画像処理装置及びその方法並びに画像処理プログラム |
JP2011100175A (ja) | 2009-11-04 | 2011-05-19 | Nippon Hoso Kyokai <Nhk> | 人物行動判定装置及びそのプログラム |
JP2016162096A (ja) | 2015-02-27 | 2016-09-05 | セコム株式会社 | 移動物体追跡装置 |
JP2017085564A (ja) | 2015-10-23 | 2017-05-18 | 株式会社モルフォ | 画像処理装置、電子機器、画像処理方法及びプログラム |
JP2017182437A (ja) | 2016-03-30 | 2017-10-05 | 株式会社エクォス・リサーチ | 画像認識装置、移動体装置、及び画像認識プログラム |
JP2018147329A (ja) | 2017-03-07 | 2018-09-20 | 株式会社デンソーテン | 画像処理装置、画像処理システム、及び画像処理方法 |
WO2018221629A1 (ja) | 2017-06-01 | 2018-12-06 | 日本電気株式会社 | 画像処理装置、追跡方法およびプログラム記録媒体 |
JP2019016098A (ja) | 2017-07-05 | 2019-01-31 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
Non-Patent Citations (1)
Title |
---|
片岡 裕雄,単眼カメラを用いたサッカー映像解析のための複数選手とボールの追跡,SSII2010 第16回 画像センシングシンポジウム講演論文集 [CD-ROM],日本,画像センシング技術研究会,2010年06月09日,P. IS2-28-1 ~ IS2-28-7 |
Also Published As
Publication number | Publication date |
---|---|
JP2020149641A (ja) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7334432B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
JP7272024B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
US9646212B2 (en) | Methods, devices and systems for detecting objects in a video | |
CN109035304B (zh) | 目标跟踪方法、介质、计算设备和装置 | |
US8417059B2 (en) | Image processing device, image processing method, and program | |
JP5074322B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 | |
JP6036824B2 (ja) | 画角変動検知装置、画角変動検知方法および画角変動検知プログラム | |
CN111382613B (zh) | 图像处理方法、装置、设备和介质 | |
JP2008501172A (ja) | 画像比較方法 | |
WO2021084972A1 (ja) | 物体追跡装置および物体追跡方法 | |
JP2020149111A (ja) | 物体追跡装置および物体追跡方法 | |
TW201931206A (zh) | 影像物件追蹤方法及其系統與電腦可讀取儲存媒體 | |
EP3761629B1 (en) | Information processing device, autonomous mobile body, information processing method, and program | |
JP7255173B2 (ja) | 人検出装置および人検出方法 | |
JP2006343859A (ja) | 画像処理装置及び画像処理方法 | |
JP2018120283A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN110992393B (zh) | 一种基于视觉的目标运动跟踪方法 | |
El Bouazzaoui et al. | Enhancing RGB-D SLAM performances considering sensor specifications for indoor localization | |
CN113052869A (zh) | 一种基于智慧ai测温的轨迹跟踪方法、系统及存储介质 | |
CN110991306A (zh) | 自适应的宽视场高分辨率智能传感方法和系统 | |
JP7243372B2 (ja) | 物体追跡装置および物体追跡方法 | |
JP2021149687A (ja) | 物体認識装置、物体認識方法及び物体認識プログラム | |
WO2022227916A1 (zh) | 图像处理方法、图像处理器、电子设备及存储介质 | |
WO2024009744A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR101760892B1 (ko) | 옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230309 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230627 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7334432 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |