JP4792069B2 - 画像認識装置 - Google Patents
画像認識装置 Download PDFInfo
- Publication number
- JP4792069B2 JP4792069B2 JP2008226102A JP2008226102A JP4792069B2 JP 4792069 B2 JP4792069 B2 JP 4792069B2 JP 2008226102 A JP2008226102 A JP 2008226102A JP 2008226102 A JP2008226102 A JP 2008226102A JP 4792069 B2 JP4792069 B2 JP 4792069B2
- Authority
- JP
- Japan
- Prior art keywords
- spatio
- image recognition
- image
- temporal
- passenger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
Stauffer, C. and Grimson, W.E.L., "Adaptive background mixture models for real-time tracking," Vol.2, Computer Vision and Pattern Recognition, 1999 (CVPR1999). IEEE Computer Society.
具体的には、搭乗者を載せて運ぶコンベアシステムを撮影する撮影装置から取得した動画像の画像認識を行う画像認識装置において、
前記コンベアシステムに搭乗者がいない状態で撮影した前記撮影装置から取得した動画像から計算され、当該画素の輝度値を空間方向および時間方向に微分した時空間輝度勾配により表現される時空間特徴ベクトルを用いて、前記時空間特徴ベクトルの発生確率を1以上の正規分布で近似して構成される背景モデルを記憶する記憶部と、
ある時点で撮影した前記撮影装置から取得した動画像から計算され、当該画素の輝度値を空間方向および時間方向に微分した時空間輝度勾配により表現される時空間特徴ベクトルが、前記背景モデルを構成する前記正規分布に属しているか否かを計算し、前記正規分布に属していなければ当該動画像において撮影された前記コンベアシステムに前景が存在すると判定する制御部と、
を有する
ことを特徴とする。
なお、解決手段の詳細は、後記する。
本発明の画像認識装置による人物と異常動作検知方法の実施方法を、図1に示すエスカレータの乗り出し検知システムへの適用例として説明する。
図1は、カメラ付き可動式保護板を用いたエスカレータ画像監視システムの全体構成図である。図1において、101はエスカレータのステップ、102はエスカレータのハンドレールである。103は映像監視用のカメラ(撮影装置)であり、ステップ101上の搭乗者の搭乗状態を監視する。104は注意喚起放送用のスピーカであり、搭乗者が異常搭乗、または危険搭乗等をしている場合に注意喚起を行い、搭乗者に危険を認知させる。105は可動式保護板の冶具、106は搭乗者の衝突防止用の可動式保護板であり、搭乗者が衝突すると揺れる構造になっている。
図1において、エスカレータの搭乗者109がハンドレール102に乗り出すと、画像認識装置107は異常動作が起きたと検知し、映像録画装置108はその前後の映像を録画する。
次に図4の異常動作検知および動作種別識別を行う処理のフローチャートを参照して、本実施形態の人物と異常動作検知方法が適用される図2の無人状態判定部203と異常動作検知部204の処理の詳細について説明する。
ここで、Pは、フレームを構成する画素の輝度値(ベクトル)であり、2次元画像の一方向(x方向)とそれに直交する方向(y方向)からなる位置x、yおよび時間tの関数である。また、Px、Py、Ptは、輝度値Pのx、yおよびtに関する偏微分値である。
(2)式の総和は、1フレームにおける画像全体、あるいは指定領域中の全ての画素から計算する。また、この総和は時間方向にも行うものであり、例えば領域の大きさが縦横7画素、フレーム数が7フレームの場合は、7×7×7画素の立体領域内で動エッジと判断された画素の時空間輝度勾配を(2)式の行列の各要素について総和計算する。(2)式は時空間輝度勾配のある時空間の立体領域中の分散(対角成分)と共分散(非対角成分)であり、(1)式のプロットのばらつき具合を表現している。領域中の動きの大きさと方向がばらつくと(2)式のランク、すなわちGram行列Mのゼロでない固有値の数が大きくなる(最大3個)。(2)式のランク変動の仕方が人物の動作に対応し、その情報を用いて動作種類識別や異常動作検知を行う。この方法の詳細は後記する。
{p(χ|i);i=1,・・・,C}
の重み付き線形結合とすると、p(χ)は次式のように表される。
このときMは時空間特徴ベクトルの次元数(Gram行列のMとは異なる点に注意)、φiは、φi={μi,Σi}と表記され、μiは平均、Σiは共分散行列である。なお、Tは転置を意味する。この様に、混合正規分布では、正規分布毎に次の3つのパラメータが必要となる。
(1)平均μi(正規分布の中心)
(2)共分散行列Σi(分布の広がり)
(3)重み係数αi(正規分布が占める割合)
また、エスカレータのアウターデッキに写る影は、本来前景として判定されるべきではないものの、乗り出しをしていない人物の影が侵入してきたために、ある程度は時空間特徴が変化してしまい、前景と判定される局所ブロックの数がしきい値以上になり、異常動作として検出されてしまうおそれがある。しかし、影によるテクスチャは非常に小さく、その局所ブロックにおける時空間特徴ベクトルは、そのようなテクスチャをも表現しているため、混合正規分布モデルに属する時空間特徴として扱い、前景を構成しない背景であると判定することができる。
このように、本実施形態の手法は外乱に対して安定した判定結果を返すことができる。
本実施形態の人物と異常動作検知方法によれば、エスカレータのステップや動く歩道の歩道面が動くシーンにおいて人物を効果的に検出でき、検出した領域内の時空間情報を解析することにより、人物の異常動作や動作種別の識別が可能となる。この識別により、搭乗者の事故を未然に防ぎ、搭乗者の安全を確保することができる。エスカレータ等を監視する監視員の疲労やエスカレータ監視システムの設置コストを下げることもできる。
なお、前記実施形態は、本発明を実施するための最良のものであるが、その実施形式はこれに限定するものではない。したがって、本発明の要旨を変更しない範囲において、その実施形式を種々変形することが可能である。
102 エスカレータのハンドレール
103 カメラ
104 スピーカ
105 (可動式保護板の)冶具
106 可動式保護板
107 画像認識装置
108 映像録画装置
109 搭乗者
110 天井
201 画像入力部
202 画像メモリ
203 無人状態判定部
204 異常動作検知部
205 パラメータ入力デバイス
206 画像送出制御部
207 衝突検知部
208 アラーム信号送出部
209 画像送出部
301 ステップ
302 ハンドレール
303 アウターデッキ
304 搭乗者
305 画像処理領域
601 学習用背景動画像
602 入力動画像
603 局所ブロック毎のテクスチャと動き
604 時空間情報の混合正規分布モデル
605 背景差分画像
701 背景学習時
702 入力映像評価
703 画像処理領域
704 局所ブロック
705 局所ブロック
706 ヒストグラム
707 変動無しブロック
708 変動有りブロック
709 混合正規分布
901 検出ウィンドウ
902 入力画像
1001 画像全体領域
1002 前景ブロック
1003 検知ウィンドウ
1004 前景ブロック
1005 前景ブロック
1006 部分領域
1007 部分領域
Claims (3)
- 搭乗者を載せて運ぶコンベアシステムを撮影する撮影装置から取得した動画像の画像認識を行う画像認識装置において、
前記コンベアシステムに搭乗者がいない状態で撮影した前記撮影装置から取得した動画像から計算され、当該画素の輝度値を空間方向および時間方向に微分した時空間輝度勾配により表現される時空間特徴ベクトルを用いて、前記時空間特徴ベクトルの発生確率を1以上の正規分布で近似して構成される背景モデルを記憶する記憶部と、
ある時点で撮影した前記撮影装置から取得した動画像から計算され、当該画素の輝度値を空間方向および時間方向に微分した時空間輝度勾配により表現される時空間特徴ベクトルが、前記背景モデルを構成する前記正規分布に属しているか否かを計算し、前記正規分布に属していなければ当該動画像において撮影された前記コンベアシステムに前景が存在すると判定する制御部と、
を有し、
前記制御部は、
人物シルエットのアスペクト比を持つ検出ウィンドウを用いて前記画像認識の対象となる領域を走査することにより、前記検出ウィンドウと輪郭が略一致する前記前景を前記コンベアシステムの搭乗者と判定する
ことを特徴とする画像認識装置。 - 前記制御部は、
前記時空間輝度勾配のGram行列の固有値を計算することにより、前記固有値を用いた連続ランク増分を算出し、
前記連続ランク増分の値に基づいて前記搭乗者の動作を判定する
ことを特徴とする請求項1に記載の画像認識装置。 - 前記制御部は、
前記画像認識の対象となる領域の全部または一部を複数の局所ブロックに分割し、前記分割した局所ブロックの各々において、前記コンベアシステムの搭乗者が存在するか否かを判定するとともに、前記搭乗者が存在するものと判定された局所ブロックのうち搭乗者の異常動作が発生しやすいと想定されるものを選択し、前記選択した局所ブロックにおいて前記搭乗者の動作を判定する
ことを特徴とする請求項2に記載の画像認識装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008226102A JP4792069B2 (ja) | 2008-09-03 | 2008-09-03 | 画像認識装置 |
CN 200910166245 CN101665210B (zh) | 2008-09-03 | 2009-08-20 | 图像识别装置 |
HK10107489.1A HK1140993A1 (en) | 2008-09-03 | 2010-08-05 | Image recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008226102A JP4792069B2 (ja) | 2008-09-03 | 2008-09-03 | 画像認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010058903A JP2010058903A (ja) | 2010-03-18 |
JP4792069B2 true JP4792069B2 (ja) | 2011-10-12 |
Family
ID=41802024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008226102A Active JP4792069B2 (ja) | 2008-09-03 | 2008-09-03 | 画像認識装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP4792069B2 (ja) |
CN (1) | CN101665210B (ja) |
HK (1) | HK1140993A1 (ja) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5690504B2 (ja) * | 2010-05-14 | 2015-03-25 | 株式会社日立製作所 | 安全エレベータ |
CN103002225B (zh) * | 2011-04-20 | 2017-04-12 | 高通科技公司 | 多曝光高动态范围图像捕捉 |
KR101213255B1 (ko) | 2012-09-14 | 2012-12-18 | 박종현 | 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법 |
CN103848329B (zh) * | 2012-11-28 | 2015-12-23 | 上海三菱电梯有限公司 | 乘客输送装置通行区域的监视装置 |
KR101463836B1 (ko) | 2013-01-31 | 2014-11-20 | (주)베라시스 | 고유벡터를 통한 움직임 판별방법 |
JP2015051873A (ja) * | 2013-12-26 | 2015-03-19 | 東芝エレベータ株式会社 | 乗客コンベア |
JP6445775B2 (ja) * | 2014-04-01 | 2018-12-26 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
CN105151994B (zh) * | 2015-09-10 | 2017-08-04 | 上海斐讯数据通信技术有限公司 | 一种电动扶梯预警方法及系统 |
CN105197758A (zh) * | 2015-09-27 | 2015-12-30 | 徐国俊 | 信号传输式电机急停控制系统 |
CN105217432A (zh) * | 2015-09-27 | 2016-01-06 | 徐国俊 | 热像辅助电机运行控制机构 |
CN105174014A (zh) * | 2015-09-27 | 2015-12-23 | 徐国俊 | 斜置式民用热像分析仪机构 |
CN107491717B (zh) * | 2016-06-13 | 2021-02-05 | 科大讯飞股份有限公司 | 考试作弊检测方法和装置 |
JP6911859B2 (ja) * | 2016-07-14 | 2021-07-28 | ソニーグループ株式会社 | 画像処理装置及び画像処理方法 |
CN107662872B (zh) | 2016-07-29 | 2021-03-12 | 奥的斯电梯公司 | 乘客运输机的监测系统及其监测方法 |
CN117864918A (zh) * | 2016-07-29 | 2024-04-12 | 奥的斯电梯公司 | 乘客运输装置的监测系统、乘客运输装置及其监测方法 |
JP6910786B2 (ja) * | 2016-11-30 | 2021-07-28 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP7072765B2 (ja) * | 2017-01-31 | 2022-05-23 | 株式会社アイシン | 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム |
CN107089581B (zh) * | 2017-04-13 | 2018-12-21 | 快意电梯股份有限公司 | 安全监控紧急停梯系统及控制方法 |
CN107220992B (zh) * | 2017-06-16 | 2019-12-10 | 华南理工大学 | 结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法 |
JP6502546B1 (ja) * | 2018-02-23 | 2019-04-17 | 東芝エレベータ株式会社 | 乗客コンベア |
US10936912B2 (en) | 2018-11-01 | 2021-03-02 | International Business Machines Corporation | Image classification using a mask image and neural networks |
TWI696958B (zh) * | 2018-11-19 | 2020-06-21 | 國家中山科學研究院 | 影像適應性特徵提取法及其應用 |
CN110009650B (zh) * | 2018-12-20 | 2021-06-29 | 浙江新再灵科技股份有限公司 | 一种扶梯扶手边界区域越界检测方法与系统 |
CN109795942A (zh) * | 2019-01-17 | 2019-05-24 | 杭州海康睿和物联网技术有限公司 | 扶梯控制系统、扶梯监控装置及其智能监控方法 |
CN110482390A (zh) * | 2019-08-29 | 2019-11-22 | 南京市特种设备安全监督检验研究院 | 一种自动扶梯/自动人行道夹角人员误入监测识别预警系统及监测识别方法 |
JP7445856B2 (ja) * | 2019-09-30 | 2024-03-08 | パナソニックIpマネジメント株式会社 | 物体認識装置、物体認識システムおよび物体認識方法 |
CN111325188A (zh) * | 2020-03-24 | 2020-06-23 | 通力电梯有限公司 | 监测自动扶梯的方法和监测自动扶梯的设备 |
CN112489055B (zh) * | 2020-11-30 | 2023-04-07 | 中南大学 | 融合亮度-时序特征的卫星视频动态车辆目标提取方法 |
CN112794197B (zh) * | 2020-12-28 | 2022-03-15 | 广州地铁设计研究院股份有限公司 | 一种轨道交通自动扶梯控制系统及方法 |
CN113205008B (zh) * | 2021-04-16 | 2023-11-17 | 深圳供电局有限公司 | 一种动态告警窗的告警控制方法 |
CN115797345B (zh) * | 2023-02-06 | 2023-04-25 | 青岛佳美洋食品有限公司 | 一种海鲜烘烤异常识别方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3486229B2 (ja) * | 1994-07-27 | 2004-01-13 | 株式会社東芝 | 画像変化検出装置 |
JP2000034088A (ja) * | 1998-07-17 | 2000-02-02 | Hitachi Ltd | マンコンベアの乗客監視装置 |
JP4051151B2 (ja) * | 1998-12-28 | 2008-02-20 | セコム株式会社 | 画像センサ、これを含む監視システム |
JP2000255964A (ja) * | 1999-03-08 | 2000-09-19 | Hitachi Ltd | エスカレータの監視装置 |
JP2002032760A (ja) * | 2000-07-17 | 2002-01-31 | Mitsubishi Electric Corp | 動物体抽出方法および装置 |
CN1139898C (zh) * | 2002-03-25 | 2004-02-25 | 北京工业大学 | 基于k-均值聚类及信息融合的角膜病灶图像分割方法 |
JP2006031460A (ja) * | 2004-07-16 | 2006-02-02 | Advanced Telecommunication Research Institute International | データ検索方法及びコンピュータプログラム |
EP1897033A4 (en) * | 2005-06-16 | 2015-06-24 | Strider Labs Inc | SYSTEM AND METHOD FOR RECOGNIZING 2D IMAGES USING 3D CLASS MODELS |
JP4912028B2 (ja) * | 2006-05-01 | 2012-04-04 | 日本電信電話株式会社 | 逐次学習式非定常映像検出装置,逐次学習式非定常映像検出方法及びその方法を実装したプログラム |
CN1919712A (zh) * | 2006-09-20 | 2007-02-28 | 浙江工业大学 | 基于图像识别技术的电梯安全防范装置 |
JP5126941B2 (ja) * | 2006-10-19 | 2013-01-23 | 株式会社メガチップス | エスカレータ監視装置、エスカレータ監視方法、エスカレータシステムおよびプログラム |
JP2008193734A (ja) * | 2008-04-16 | 2008-08-21 | Oki Electric Ind Co Ltd | 媒体透かし判別装置 |
-
2008
- 2008-09-03 JP JP2008226102A patent/JP4792069B2/ja active Active
-
2009
- 2009-08-20 CN CN 200910166245 patent/CN101665210B/zh active Active
-
2010
- 2010-08-05 HK HK10107489.1A patent/HK1140993A1/xx not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
CN101665210B (zh) | 2013-05-15 |
JP2010058903A (ja) | 2010-03-18 |
CN101665210A (zh) | 2010-03-10 |
HK1140993A1 (en) | 2010-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4792069B2 (ja) | 画像認識装置 | |
US11468660B2 (en) | Pixel-level based micro-feature extraction | |
JP4663756B2 (ja) | 異常行動検知装置 | |
JP4701100B2 (ja) | 異常行動検知装置 | |
KR101337060B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
EP2118864B1 (en) | Behavioral recognition system | |
US7110569B2 (en) | Video based detection of fall-down and other events | |
EP3276535A1 (en) | A monitoring system of a passenger conveyor, and a monitoring method thereof | |
KR101788269B1 (ko) | 이상 상황을 감지하는 장치 및 방법 | |
US20030058111A1 (en) | Computer vision based elderly care monitoring system | |
KR101877294B1 (ko) | 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 cctv 시스템 | |
EP2342647A2 (en) | Long-term memory in a video analysis system | |
JP4764487B2 (ja) | 映像監視システム | |
JP5279517B2 (ja) | 物体検知装置及び物体検知方法 | |
KR101646000B1 (ko) | 지정된 사물 및 영역에 대한 감시시스템 및 감시방법 | |
KR101125936B1 (ko) | 엘리베이터 보안을 위한 지능형 영상 감시시스템 및 그 방법 | |
KR102101623B1 (ko) | 영상 정보를 이용하여 이상 상황을 감지하는 방법 및 장치 | |
KR102113489B1 (ko) | 카메라 입력 영상을 딥러닝 활용한 행동 감지 시스템 및 방법 | |
JP2011198244A (ja) | 対象物認識システム及び該システムを利用する監視システム、見守りシステム | |
KR101371647B1 (ko) | 이미지 데이터 기반의 화재 감지 장치 및 그 방법 | |
KR102111162B1 (ko) | 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 및 방법 | |
JP7214437B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN114943873B (zh) | 一种工地人员异常行为分类方法及装置 | |
KR20030018487A (ko) | 영상을 이용한 출입 이동 물체 계수 방법 및 장치 | |
JP5228067B2 (ja) | 異常行動検知装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100622 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100928 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110705 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110722 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4792069 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |