JP5574692B2 - 映像情報処理方法及びその装置 - Google Patents
映像情報処理方法及びその装置 Download PDFInfo
- Publication number
- JP5574692B2 JP5574692B2 JP2009286893A JP2009286893A JP5574692B2 JP 5574692 B2 JP5574692 B2 JP 5574692B2 JP 2009286893 A JP2009286893 A JP 2009286893A JP 2009286893 A JP2009286893 A JP 2009286893A JP 5574692 B2 JP5574692 B2 JP 5574692B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- value
- image
- feature
- video information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Description
取得手段が、前記検出された複数の人物領域から前記人物領域に含まれる人物の行動または状態を表す特徴量を取得する取得工程と、
評価手段が、前記取得された複数の人物領域の特徴量の傾向を示す統計値に基づき、前記複数の人物領域の特徴量に対して、前記統計値からの乖離度合いを評価する評価工程と、
加工手段が、前記評価された乖離度合いに基づいて、画像加工処理を施す人物領域を特定し、該特定された領域に対して隠蔽処理または強調処理のうち少なくともいずれか一方を施す加工工程と、
を有することを特徴とする映像情報処理方法。
本実施形態では、映像中の複数人物について、人物の行動や状態を表す特徴量を算出し、その統計値と各々の人物の特徴量を比較する。これにより、各人物が監視対象の空間において異常な行動や状態であるかを判断し、人物領域に画像加工処理を行う。すなわち、複数人物の特徴量群の統計値が、監視対象の空間において平均的な行動や状態を表していると想定した値を求める。この値から乖離する人物の特徴量を取る人物は、異常行動または異常状態であると判断して監視対象人物と設定する。また逆に、平均的な特徴量の範囲にある人物については非監視対象人物となるので、プライバシー保護のため詳細が特定されないように画像加工処理を施す。
ステップS301では、ある人物領域の特徴量を算出する。
ステップS302では、全ての人物領域に対して特徴量を算出したか否かを判断し、残りの人物領域があればステップS301に戻り特徴量を算出する。全ての人物領域の特徴量を算出したら、算出部103の処理を終了する。なお、説明のため、検出部102と算出部103の処理を分離している。しかし、検出部102で人物領域が検出されるたびに、算出部103の処理を実行し、その人物領域についての特徴量を算出しても良い。
xD(u,v)T ・・・(1)
人物領域の追跡処理については、公知の技術を人物検出結果の人物領域と合わせて利用する。なお、ノイズ低減のため、隣接フレーム間の2次元ベクトルを算出するよりも、所定時間の移動方向を平滑化した値を算出する方が望ましい。また、所定単位時間の方向ベクトルをまとめて、軌跡を表現する軌跡特徴量として特徴量xTを定義しても良い。
xT(u1,v1・・・ud,vd)T ・・・(2)
これらの移動方向に関する特徴量では、統計値から大きく乖離する特徴量を取る人物について、他の大多数の人物と異なる方向に移動しているとして異常行動と判定できる。以上の移動方向に関する人物の特徴量の説明では、画像中での移動方向について説明した。しかし、距離画像の取得や、人物位置の仮想3次元空間への投影により、3次元空間中での移動方向が判別可能であれば、3次元空間中での移動方向を特徴量としても良い。
xV=v ・・・(3)
移動速度が統計値から大きく乖離する人物を異常行動とすることにより、監視空間中の群衆が歩いている中で、走っている不審者を特定することができる。また、逆に、止まっている人物を発見することにより、体調不良の要介護者の特定を行うことができるようになる。
xB=(h,w,s)T ・・・(4)
一方、画像中の位置により人物の観測サイズが異なる場合には、画像位置によらず人物の体格情報が得られるように工夫する必要がある。例えば、距離画像を合わせて取得する、画像中の位置によってシルエットのサイズを変換する変換関数を設定する、などの工夫が必要である。この特徴量を得るためには、人物領域のシルエットが必要となるため、背景差分などの手法により人物のシルエット形状を取得可能な方法で人物検出を行うことが望ましい。人物の体格に基づく特徴量では、群衆の中で明らかに体格が異なる人物を異常状態として検出できるようになる。例えば、児童の集団の中に不審な成人を発見することができるようになる。なお、(4)の特徴量は、特徴次元ごとに異なる性質を持つ値であるため、適当な正規化処理を行って特徴量とする。若しくは、(4)のように一つの特徴量としてまとめずに、高さh、幅w、面積sなどの各値を独立した特徴量として取り扱うと良い。
xC=(R,G,B)T ・・・(5)
(5)では色空間としてRGB空間を想定したが、これ以外の色空間を用いても良い。
xP=(θ1,θ2,・・・,θd)T ・・・(6)
以上では、画像から意味のある情報を抽出した結果を特徴量とする例を示したが、本実施形態で用いる特徴量はこれに限定されず、人物領域の画像特徴量を特徴量としても良い。例えば、人物検出用の画像特徴量として説明したHOG特徴量を本実施形態の特徴量として扱っても良い。この場合、検出部102でHOG特徴量を用いて検出された人物領域について、その領域のHOG特徴量を、その人物の行動や状態を表す特徴としてそのまま特徴量とする。HOG特徴量は画像のエッジ情報を特徴量化しており、その値は画像中での人物の向きや姿勢により異なる。よって、画像中の人物の平均的なHOG特徴量と大きく異なるHOG特徴量を示す人物は、他の人物と比べて異なる向きや姿勢をとっていると判別される。画像特徴量の例として、HOG特徴量を示した。しかし、算出部103で特徴量とする画像特徴量はこれに限定されることはない。また、検出部102で用いた画像特徴量と異なる画像特徴量を新しく算出しても良い。
ステップS401では、全ての人物の特徴量の統計値として平均値を求める。
ステップS402では、ある一つの特徴量と平均値との距離を求める。
ステップS403では、距離を予め設定した閾値と比較し、閾値未満の場合(平均値からの乖離が小さい場合)には、ステップS404へ進む。一方、距離が閾値以上の場合(平均値からの乖離が大きい場合)には、ステップS405に進む。
ステップS404では、当該人物を正常と判断する。
ステップS405では、当該人物を異常と判断する。
ステップS406では、これら処理を画像中の全ての人物に対して行う。
x=(x1,x2,・・・,xd)T ・・・(7)
として、その特徴量群の平均値(平均ベクトル)μを
μ=(μ1,μ2,・・・,μd)T ・・・(8)
とし、特徴量群の分散共分散行列Σを
第1の実施形態での評価部104では、予め特徴量群の統計値と各特徴量との間の距離に対して閾値を設定して特徴量の評価を行う方法について説明した。事前に適切な閾値を設定することができれば、第1の実施形態の方法が有効であるが、監視対象の空間の状況に合わせて評価の基準を変更しても良い。
以上では、1次元の特徴量の場合について説明したが、多次元の特徴量を取り扱う場合にも、各次元の値の標準偏差を求め、閾値を設定しても良い。
以上の実施形態では、評価部104で算出する評価値を「正常」と「異常」の2値の値としたが、算出した距離をそのまま評価値として出力しても良い。距離をそのまま評価値とする場合には、評価部104では図4のステップS403、S404、S405の閾値処理を行わない。代わりに、人物び特徴量群の統計値と各特徴量についての距離を算出し、そのまま連続的な評価値として出力する。距離はユークリッド距離でもマハラノビス距離でも良い。
以上の実施形態では、統計値は、現在にあたる1フレームの複数人物から得られる特徴量から算出することを想定して説明していた。これを過去の所定時間で検出された人物の特徴量を過去フレームとして蓄積し、この特徴量を用いて求めても良い。この場合、所定時間内で得られた全ての特徴量から統計値を算出する。そして、算出した統計値と現フレームの各特徴量の距離を計算し、特徴量評価を行う。この方法により、監視対象の空間に人物が1人または少人数しか出現しない場合でも、本実施形態の映像情報処理を行うことができるようになる。現フレームで算出する統計値は、過去の所定時間の特徴量群からのみ算出しても良いし、過去の特徴量群に現フレームの特徴量群を加えた特徴量群から算出しても良い。また、所定時間内で得られた全ての特徴量ではなく、過去フレームで得られた特徴量のうち、正常と判定された特徴量のみを現フレームの統計値算出に用いても良い。このように、フレーム間の人物の特徴の変化量を特徴量としてもよい。
図9は、コンピュータの構成例を示す図である。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク907又は各種のコンピュータ読み取り可能な記憶媒体902、903を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ901(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
100 映像情報処理装置
101 撮像部
102 検出部
103 算出部
104 評価部
105 加工部
106 表示部
107 記録部
Claims (16)
- 検出手段が、取得された画像から複数の人物が存在する複数の人物領域を検出する検出工程と、
取得手段が、前記検出された複数の人物領域から前記人物領域に含まれる人物の行動または状態を表す特徴量を取得する取得工程と、
評価手段が、前記取得された複数の人物領域の特徴量の傾向を示す統計値に基づき、前記複数の人物領域の特徴量に対して、前記統計値からの乖離度合いを評価する評価工程と、
加工手段が、前記評価された乖離度合いに基づいて、画像加工処理を施す人物領域を特定し、該特定された領域に対して隠蔽処理または強調処理のうち少なくともいずれか一方を施す加工工程と、
を有することを特徴とする映像情報処理方法。 - 撮像手段が、前記複数の人物が存在する空間の画像を撮像する撮像工程を更に有することを特徴とする請求項1に記載の映像情報処理方法。
- 表示手段が、前記画像加工処理を施された人物領域を有する画像を表示する表示工程を更に有することを特徴とする請求項1または2に記載の映像情報処理方法。
- 記録手段が、前記画像加工処理を施された人物領域を有する画像を記録する記録工程を更に有することを特徴とする請求項1乃至3の何れか1項に記載の映像情報処理方法。
- 前記統計値は、
前記複数の人物領域の特徴量の平均値、若しくは、前記複数の人物領域の特徴量の最頻値、若しくは、前記複数の人物領域の特徴量の中央値であることを特徴とする請求項1乃至4の何れか1項に記載の映像情報処理方法。 - 前記評価工程では、
前記統計値と前記複数の人物領域それぞれの特徴量の間との距離を所定の閾値と比較することにより、前記統計値からの乖離度合いを評価することを特徴とする請求項1乃至5の何れか1項に記載の映像情報処理方法。 - 前記評価工程では、
前記統計値と前記複数の人物領域それぞれの特徴量との間の距離と、前記複数の人物領域の特徴量の分布とに基づいて、前記統計値からの乖離度合いを評価することを特徴とする請求項1乃至5の何れか1項に記載の映像情報処理方法。 - 前記評価工程では、
前記統計値と前記複数の人物領域それぞれの特徴量との間との距離を評価値とすることを特徴とする請求項1乃至5の何れか1項に記載の映像情報処理方法。 - 前記加工工程では、
前記評価された乖離度合いが所定の値未満の人物領域に隠蔽処理を施すことを特徴とする請求項1乃至7の何れか1項に記載の映像情報処理方法。 - 前記加工工程では、
前記評価された乖離度合いが所定の値よりも大きい人物領域に強調処理を施すことを特徴とする請求項1乃至7の何れか1項に記載の映像情報処理方法。 - 前記加工工程では、
前記評価された乖離度合いに基づいて、段階的な隠蔽処理を施すことを特徴とする請求項8に記載の映像情報処理装置。 - 前記加工工程では、
前記評価された乖離度合いに基づいて、段階的な強調処理を施すことを特徴とする請求項1乃至8の何れか1項に記載の映像情報処理装置。 - 前記画像は、所定時間に撮像された複数のフレームの画像であって、
前記複数の特徴量は、前記複数のフレームの画像の間で対応する特徴の変化量であることを特徴とする請求項1乃至12の何れか1項に記載の映像情報処理方法。 - 前記特徴量は、前記人物領域の移動方向、若しくは、該人物領域の移動速度、若しくは、該人物領域のシルエット、若しくは、該人物領域のテクスチャ、若しくは、該人物領域の色、のうち少なくとも1つの情報が含まれていることを特徴とする請求項1乃至13の何れか1項に記載の映像情報処理方法。
- 請求項1乃至14の何れか1項に記載の映像情報処理方法をコンピュータに実行させる
ことを特徴とするプログラム。 - 取得された画像から複数の人物が存在する複数の人物領域を検出する検出手段と、
前記検出された複数の人物領域から前記人物領域に含まれる人物の行動または状態を表す特徴量を取得する取得手段と、
前記取得された複数の人物領域の特徴量の傾向を示す統計値に基づき、前記複数の人物領域の特徴量に対して、前記統計値からの乖離度合いを評価する評価手段と、
前記評価された乖離度合いに基づいて、画像加工処理を施す人物領域を特定し、該特定された領域に対して画像加工処理を施す加工手段と、
を備えることを特徴とする映像情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009286893A JP5574692B2 (ja) | 2009-12-17 | 2009-12-17 | 映像情報処理方法及びその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009286893A JP5574692B2 (ja) | 2009-12-17 | 2009-12-17 | 映像情報処理方法及びその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011130203A JP2011130203A (ja) | 2011-06-30 |
JP5574692B2 true JP5574692B2 (ja) | 2014-08-20 |
Family
ID=44292295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009286893A Active JP5574692B2 (ja) | 2009-12-17 | 2009-12-17 | 映像情報処理方法及びその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5574692B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9373042B2 (en) | 2011-09-20 | 2016-06-21 | Toyota Jidosha Kabushiki Kaisha | Subject change detection system and subject change detection method |
US9858501B2 (en) | 2012-02-16 | 2018-01-02 | Nec Corporation | Reliability acquiring apparatus, reliability acquiring method, and reliability acquiring program |
JP6007523B2 (ja) * | 2012-03-09 | 2016-10-12 | 富士通株式会社 | 生成装置、生成プログラムおよび生成方法 |
JP5811951B2 (ja) * | 2012-05-29 | 2015-11-11 | トヨタ自動車株式会社 | 対象物変化検出装置 |
JP6405606B2 (ja) * | 2013-07-12 | 2018-10-17 | オムロン株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP6455866B2 (ja) * | 2014-03-31 | 2019-01-23 | Necエンベデッドプロダクツ株式会社 | 監視装置、監視方法、及びプログラム |
US10269126B2 (en) | 2014-06-30 | 2019-04-23 | Nec Corporation | Image processing apparatus, monitoring system, image processing method, and program |
KR101648188B1 (ko) * | 2015-02-13 | 2016-08-16 | 경일대학교산학협력단 | 개별 객체 프라이버시 보호를 위한 영상 처리 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체 |
KR101648190B1 (ko) * | 2015-02-13 | 2016-08-16 | 경일대학교산학협력단 | 환경 변화에 따른 프라이버시 보호를 위한 동적 객체 영상 처리 시스템, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체 |
JP6587435B2 (ja) | 2015-06-29 | 2019-10-09 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
JP2019114821A (ja) * | 2016-03-23 | 2019-07-11 | 日本電気株式会社 | 監視システム、装置、方法およびプログラム |
JP6732522B2 (ja) | 2016-05-02 | 2020-07-29 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6629139B2 (ja) * | 2016-05-30 | 2020-01-15 | 株式会社東芝 | 制御装置、制御方法およびプログラム |
JP6799325B2 (ja) * | 2017-05-29 | 2020-12-16 | 地方独立行政法人東京都立産業技術研究センター | 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム |
JP6947348B2 (ja) * | 2017-05-30 | 2021-10-13 | 株式会社Smalto | 画像処理装置、及び画像処理プログラム |
JP6789601B2 (ja) * | 2017-10-26 | 2020-11-25 | Kddi株式会社 | 所定画像領域をマスクした撮影映像を学習映像として選択する学習映像選択装置、プログラム及び方法 |
JP7444604B2 (ja) * | 2019-12-26 | 2024-03-06 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
JP7193104B1 (ja) | 2021-11-25 | 2022-12-20 | 株式会社アジラ | 行動体同定システム |
WO2023243398A1 (ja) * | 2022-06-13 | 2023-12-21 | コニカミノルタ株式会社 | 例外行動判別方法、例外行動判別プログラムおよび例外行動判別装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4036051B2 (ja) * | 2002-07-30 | 2008-01-23 | オムロン株式会社 | 顔照合装置および顔照合方法 |
JP2007209008A (ja) * | 2003-10-21 | 2007-08-16 | Matsushita Electric Ind Co Ltd | 監視装置 |
JP2006287731A (ja) * | 2005-04-01 | 2006-10-19 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
JP5002131B2 (ja) * | 2005-04-05 | 2012-08-15 | キヤノン株式会社 | 監視用撮像装置及びその制御方法 |
-
2009
- 2009-12-17 JP JP2009286893A patent/JP5574692B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011130203A (ja) | 2011-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5574692B2 (ja) | 映像情報処理方法及びその装置 | |
JP7130368B2 (ja) | 情報処理装置および情報処理システム | |
Yousif et al. | Fast human-animal detection from highly cluttered camera-trap images using joint background modeling and deep learning classification | |
KR101490016B1 (ko) | 인물 화상 처리 장치 및 인물 화상 처리 방법 | |
Agrawal et al. | Person de-identification in videos | |
Wahab et al. | Passive video forgery detection techniques: A survey | |
CN101179713A (zh) | 复杂背景下单个运动目标的检测方法 | |
JP7419080B2 (ja) | コンピュータシステムおよびプログラム | |
CN103391424A (zh) | 分析监控摄像机捕获的图像中的对象的方法和对象分析器 | |
Lin et al. | Cross camera people counting with perspective estimation and occlusion handling | |
Kanter | Color Crack: Identifying Cracks in Glass | |
CN110188718B (zh) | 一种基于关键帧和联合稀疏表示的无约束人脸识别方法 | |
JP4934018B2 (ja) | 粒子群運動解析システム、粒子群運動解析方法及びプログラム | |
CN116385316B (zh) | 多目标图像动态捕捉方法及相关装置 | |
CN106611417B (zh) | 将视觉元素分类为前景或背景的方法及装置 | |
Kasturi et al. | Classification of human fall in top Viewed kinect depth images using binary support vector machine | |
Ibrahim et al. | Snatch theft detection using low level | |
Abdulghafoor et al. | Real-time object detection with simultaneous denoising using low-rank and total variation models | |
JP6717049B2 (ja) | 画像解析装置、画像解析方法およびプログラム | |
Satiro et al. | Super-resolution of facial images in forensics scenarios | |
AlGhamdi et al. | Automatic motion tracking of a human in a surveillance video | |
Dammalapati et al. | An efficient criminal segregation technique using computer vision | |
Jaijing et al. | Object detection and modeling algorithm for automatic visual people counting system | |
Rabbani et al. | Person identification using SURF features of dental radiograph | |
Aik et al. | Real-Time People Counting System using CurveAnalysis Method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130716 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140603 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140701 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5574692 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |