JP7488674B2 - 物体認識装置、物体認識方法及び物体認識プログラム - Google Patents
物体認識装置、物体認識方法及び物体認識プログラム Download PDFInfo
- Publication number
- JP7488674B2 JP7488674B2 JP2020050235A JP2020050235A JP7488674B2 JP 7488674 B2 JP7488674 B2 JP 7488674B2 JP 2020050235 A JP2020050235 A JP 2020050235A JP 2020050235 A JP2020050235 A JP 2020050235A JP 7488674 B2 JP7488674 B2 JP 7488674B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- congestion
- captured
- recognition
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 40
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000003384 imaging method Methods 0.000 claims description 128
- 230000010354 integration Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 59
- 239000013598 vector Substances 0.000 description 28
- 230000005484 gravity Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 238000011156 evaluation Methods 0.000 description 15
- 238000013527 convolutional neural network Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000007423 decrease Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
以下、本発明の実施の形態(以下実施形態1という)に係る物体認識装置の一例である三次元位置推定装置について説明する。三次元位置推定装置は、共通視野を有する複数の撮影手段で撮影した撮影画像に基づいて共通視野内の人物の三次元位置を推定する。
・重み=1.0-頭部領域と高混雑度領域との重複面積/頭部領域の面積
また、重みは頭部領域における閑散度による以下の式で定めてもよい。この場合、混雑度推定手段130は撮影手段IDと混雑度マップを対応付けた混雑度情報を出力する。
・重み=1.0-頭部領域内の混雑度の総和/頭部領域の面積
つまり、頭部領域内の混雑度が高い個別認識結果ほど重みは小さくなる。これは背後の群集の影響で個別認識結果の信頼度が低いことを意味する。他方、頭部領域内の混雑度が低い個別認識結果ほど重みは高くなる。これは群集の影響が少なく個別認識結果の信頼度が高いことを意味する。このような重みの違いは、認識対象の物体と背後の群集の撮影画像上での位置関係が撮影手段との位置関係によって異なることで生じる。そのため、個別認識手段が物体を認識した位置における混雑度に応じて各撮影手段の重み付けを決定することで、群集の影響により変わる当該位置についての個別認識結果の信頼度を評価できる。
図4は本実施形態1における三次元位置推定装置1の全体的な処理を示すフローチャートである。図4のステップS100~S150は、撮影手段10a,10b,10cから撮影画像が入力される度に繰り返される。
(1-1)実施形態1では、個別認識手段である二次元位置推定手段131が、検出器が出力する人物領域をそのまま用いて個別認識結果を生成したが、重複度の高い人物領域同士を一つにまとめる処理を行ってから重心位置を算出して個別認識結果を生成してもよい。その場合のまとめ方には、検出時の尤度が最も高い人物領域を選択する、検出時の尤度で重み付けて平均するなどの方法がある。
本実施形態2では、物体認識装置の一例である三次元追跡装置について説明する。本実施形態2における三次元追跡装置は、共通視野を有する複数の撮影手段で撮影した撮影画像に基づいて共通視野内の人物を追跡する。
物体位置決定手段533により物体位置が判定された物体について、当該判定された物体位置を追加記憶させるとともに、現時刻の物体位置それぞれに形状モデルを配置して各撮影画像に投影して全身投影領域の画像特徴を抽出し、当該物体の撮影手段ごとのテンプレートを現時刻の画像特徴により更新する。更新は、抽出された画像特徴を、記憶されている画像特徴と置き換えてもよいし、抽出された画像特徴と記憶されている画像特徴とを重み付け平均してもよい。
物体位置決定手段533は、監視空間に追跡対象の物体(人)が存在しないときに撮影された背景画像と各撮影画像との差分処理を行って背景差分領域を検出するとともに、現時刻の物体位置それぞれに形状モデルを配置して各撮影画像に投影しいずれの全身投影領域とも重ならない背景差分領域を抽出する。そして、物体位置決定手段533は、非重複の背景差分領域が追跡対象の物体として有効な面積TSを有していれば、非重複の背景差分領域に新規物体が存在すると判定する。新規物体が存在すると判定された場合、非重複の背景差分領域に対して実施形態1と同様の方法で三次元位置の推定を行ってXYZ座標系での物体位置を導出する。また、物体IDと対応付けて当該物体のテンプレート、当該物体の物体位置が記憶部52の物体情報521に記憶される。また、物体位置決定手段533は、追跡対象の物体が存在しないときの撮影画像を背景画像として記憶部4に記憶させ、背景差分領域が検出されなかった領域の撮影画像で背景画像を更新する。
物体位置決定手段533は、物体が遮蔽物により隠蔽された場合や撮影画像外に移動した場合等、全ての個別尤度Lが閾値TL以下となった物体を物体位置なしの消失物体と判定し、当該物体の物体情報を削除する。
以下、三次元追跡装置5の動作を説明する。図9は三次元追跡装置5の動作の全体フロー図である。三次元追跡装置5の動作が開始されると、撮影手段10a,10b,10cは画像処理部53に順次撮影画像を出力する。画像処理部53は撮影画像が入力されるたびに(ステップS500)、ステップS501~S510の一連の処理を繰り返す。
(2-1)上記実施形態2においては、重付決定手段532が三次元形状モデルを用いて重みWを算出したが三次元形状モデルを用いずに重みWを算出することもできる。例えば、混雑度が低いほど高い重みWを算出する関係式を予め定めておき、候補位置を投影した投影点の混雑度を混雑度マップから取得して、取得した混雑度に上記関係式を適用して重みWを算出する。
(3-1)上記実施形態1,2およびその各変形例においては、重付決定手段による混雑度に基づく重みWの算出は、単純に物体の位置での混雑度に基づいて行っていたが、物体への視線方向に沿った領域での混雑度を加味して重みWを算出してもよい。
Claims (5)
- 共通視野を有する複数の撮影手段で撮影した撮影画像に基づいて物体を認識する物体認識装置であって、
前記撮影手段ごとに、前記撮影画像に撮影された前記物体の混雑度を推定する混雑度推定手段と、
前記撮影手段ごとの前記撮影画像を解析して前記撮影画像上における前記物体の全部または一部を認識して個別認識結果を生成する個別認識手段と、
前記各撮影手段が撮影した前記撮影画像上における前記個別認識手段が前記物体を認識した位置の前記混雑度に応じて前記各撮影手段の重みを決定する重付決定手段と、
前記撮影手段ごとの前記個別認識結果に含まれる前記物体の位置に係る情報に対して前記重みを付けて統合し、前記物体の位置を求める統合認識手段と、を備え、
前記重付決定手段は、前記統合において前記混雑度が高いほど前記撮影手段の前記個別認識結果が小さく評価されるように前記重みを決定することを特徴とする物体認識装置。 - 前記混雑度推定手段は、前記撮影画像を入力されると当該撮影画像内の任意の位置の前記混雑度を出力するよう予め学習した推定器に前記撮影画像を入力して前記撮影画像内の任意の位置の前記混雑度を推定し、
前記重付決定手段は、前記撮影画像の領域毎に、前記混雑度に応じて前記撮影手段の前記重みを決定することを特徴とする請求項1記載の物体認識装置。 - 前記個別認識手段は、前記撮影手段ごとに、前記撮影画像を解析して現時刻の前記撮影画像上における前記物体の位置情報を求め、
前記統合認識手段は、前記重みに基づいて前記撮影手段ごとの前記位置情報を統合して現時刻における前記物体の位置を決定することを特徴とする請求項1または2記載の物体認識装置。 - 共通視野を有する複数の撮影手段で撮影した撮影画像に基づいて物体を認識する物体認識装置による物体認識方法であって、
混雑度推定手段が、前記撮影手段ごとに、前記撮影画像に撮影された前記物体の混雑度を推定し、
個別認識手段が、前記撮影手段ごとの前記撮影画像を解析して前記撮影画像上における前記物体の全部または一部を認識して個別認識結果を生成し、
重付決定手段が、前記各撮影手段が撮影した前記撮影画像上における前記個別認識手段が前記物体を認識した位置の前記混雑度に応じて前記各撮影手段の重みを決定し、
統合認識手段が、前記撮影手段ごとの前記個別認識結果に含まれる前記物体の位置に係る情報に対して前記重みを付けて統合し、前記物体の位置を求め、
前記重付決定手段は、前記統合において前記混雑度が高いほど前記撮影手段の前記個別認識結果が小さく評価されるように前記重みを決定する
ことを特徴とする物体認識方法。 - 共通視野を有する複数の撮影手段で撮影した撮影画像に基づいて物体を認識する物体認識装置において実行される物体認識プログラムであって、
混雑度推定手段が、前記撮影手段ごとに、前記撮影画像に撮影された前記物体の混雑度を推定する処理と、
個別認識手段が、前記撮影手段ごとの前記撮影画像を解析して前記撮影画像上における前記物体の全部または一部を認識して個別認識結果を生成する処理と、
重付決定手段が、前記各撮影手段が撮影した前記撮影画像上における前記個別認識手段が前記物体を認識した位置の前記混雑度に応じて前記各撮影手段の重みを決定する処理と、
統合認識手段が、前記撮影手段ごとの前記個別認識結果に含まれる前記物体の位置に係る情報に対して前記重みを付けて統合し、前記物体の位置を求める処理と、
前記重付決定手段が、前記統合において前記混雑度が高いほど前記撮影手段の前記個別認識結果が小さく評価されるように前記重みを決定する処理と、
を実行させることを特徴とする物体認識プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020050235A JP7488674B2 (ja) | 2020-03-19 | 2020-03-19 | 物体認識装置、物体認識方法及び物体認識プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020050235A JP7488674B2 (ja) | 2020-03-19 | 2020-03-19 | 物体認識装置、物体認識方法及び物体認識プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021149687A JP2021149687A (ja) | 2021-09-27 |
JP7488674B2 true JP7488674B2 (ja) | 2024-05-22 |
Family
ID=77849042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020050235A Active JP7488674B2 (ja) | 2020-03-19 | 2020-03-19 | 物体認識装置、物体認識方法及び物体認識プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7488674B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023166065A (ja) * | 2022-05-09 | 2023-11-21 | 日立Astemo株式会社 | 異常診断装置 |
WO2024024048A1 (ja) * | 2022-07-28 | 2024-02-01 | 日本電信電話株式会社 | 物体検出装置、物体検出方法、及び物体検出プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006229631A (ja) | 2005-02-17 | 2006-08-31 | Konica Minolta Holdings Inc | 画像処理装置 |
JP2010273112A (ja) | 2009-05-21 | 2010-12-02 | Fujifilm Corp | 人物追跡方法、人物追跡装置および人物追跡プログラム |
JP2018042049A (ja) | 2016-09-06 | 2018-03-15 | パナソニックIpマネジメント株式会社 | 混雑検知装置、混雑検知システムおよび混雑検知方法 |
JP2018185623A (ja) | 2017-04-25 | 2018-11-22 | セコム株式会社 | 物体検出装置 |
-
2020
- 2020-03-19 JP JP2020050235A patent/JP7488674B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006229631A (ja) | 2005-02-17 | 2006-08-31 | Konica Minolta Holdings Inc | 画像処理装置 |
JP2010273112A (ja) | 2009-05-21 | 2010-12-02 | Fujifilm Corp | 人物追跡方法、人物追跡装置および人物追跡プログラム |
JP2018042049A (ja) | 2016-09-06 | 2018-03-15 | パナソニックIpマネジメント株式会社 | 混雑検知装置、混雑検知システムおよび混雑検知方法 |
JP2018185623A (ja) | 2017-04-25 | 2018-11-22 | セコム株式会社 | 物体検出装置 |
Non-Patent Citations (1)
Title |
---|
石井 大祐 外,スポーツ解析システム向けマルチカメラ人物トラッキング方式,信学技報 PRMU2017-155,CNR2017-33,2018年02月,59頁-63頁 |
Also Published As
Publication number | Publication date |
---|---|
JP2021149687A (ja) | 2021-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10242266B2 (en) | Method and system for detecting actions in videos | |
JP6288221B2 (ja) | 深層畳み込みニューラルネットワークによるレイヤベースの物体検出の強化 | |
JP5102410B2 (ja) | 移動体検出装置および移動体検出方法 | |
EP2192549B1 (en) | Target tracking device and target tracking method | |
US20090296989A1 (en) | Method for Automatic Detection and Tracking of Multiple Objects | |
US6757571B1 (en) | System and process for bootstrap initialization of vision-based tracking systems | |
US20090041297A1 (en) | Human detection and tracking for security applications | |
JP7272024B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
JP5001930B2 (ja) | 動作認識装置及び方法 | |
KR101681104B1 (ko) | 부분적 가림을 갖는 영상 객체 내의 주요 특징점 기반 다중 객체 추적 방법 | |
JP7422456B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
Li et al. | Robust multiperson detection and tracking for mobile service and social robots | |
JP7488674B2 (ja) | 物体認識装置、物体認識方法及び物体認識プログラム | |
US20220366570A1 (en) | Object tracking device and object tracking method | |
Nguyen et al. | 3d pedestrian tracking using local structure constraints | |
JP2021077039A (ja) | 画像処理装置、画像処理方法、及びプログラム。 | |
JP2023008030A (ja) | 画像処理システム、画像処理方法及び画像処理プログラム | |
JP2022019339A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7422572B2 (ja) | 移動物体追跡装置、移動物体追跡方法及び移動物体追跡プログラム | |
CN108346158B (zh) | 基于主块数据关联的多目标跟踪方法及系统 | |
JP2021033374A (ja) | 対象物認識装置、対象物認識方法、及び対象物認識プログラム | |
WO2023149295A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN117593650B (zh) | 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法 | |
Ghedia et al. | Design and Implementation of 2-Dimensional and 3-Dimensional Object Detection and Tracking Algorithms | |
JP2021149686A (ja) | 移動物体追跡装置、移動物体追跡方法及び移動物体追跡プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240510 |