JP6672712B2 - 異常作業検出システムおよび異常作業検出方法 - Google Patents
異常作業検出システムおよび異常作業検出方法 Download PDFInfo
- Publication number
- JP6672712B2 JP6672712B2 JP2015216889A JP2015216889A JP6672712B2 JP 6672712 B2 JP6672712 B2 JP 6672712B2 JP 2015216889 A JP2015216889 A JP 2015216889A JP 2015216889 A JP2015216889 A JP 2015216889A JP 6672712 B2 JP6672712 B2 JP 6672712B2
- Authority
- JP
- Japan
- Prior art keywords
- similarity
- work
- image
- criterion
- standard image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Description
図1は、第1の実施形態の異常作業検出システムを示すブロック図である。異常作業検出システムは、撮像手段10と、標準画像格納手段20と、類似度算出手段30と、類似度基準格納手段40と、異常作業検出手段50と、を有している。
図2は第2の実施形態の異常作業検出システム100を示すブロック図である。異常作業検出システム100は、撮像部110と、標準画像格納部120と、類似度算出部130と、類似度基準格納部140と、異常作業検出部150と、を有している。そして類似度算出部130は、特徴量抽出部131を有している。
(第3の実施形態)
図8は、本実施形態の異常作業検出システム200を示すブロック図である。異常作業検出システム200は、第2の実施形態と同様に、撮像部210と、標準画像格納部220と、類似度算出部230と、類似度基準格納部240と、異常作業検出部250と、を有している。そして、本実施形態では、上記の構成に加えて、類似度算出部230が、特徴量抽出部231と、物体認識部232と、重み付け設定部233と、を有している。
ここで、第2、第3の実施形態を利用した異常作業検出の具体例を示す。
図9の作業では、作業が正常に行われた場合、図10に示すように工程Aの類似度SAがピークアウトした次には工程Bの類似度SBが上昇しなければならない。ところが、図11に示すように、SAが正常範囲内でピークアウトした後に、SBが上昇せずに、SDが上昇したとする。このような状況は、例えば工程の順番を誤って工程Aの次に工程Dを実施した時に発生する。この異常作業は、図11に示すように、工程Bの類似度SBがSB正常範囲から外れた時点で検出することができる。
工程の順番は正しいが、次工程の実行が遅いという異常作業も考えられる。このような場合、類似度は、例えば図12のように変動する。図12の例では、A工程の類似度SAが正常範囲でピークアウトした後に、本来立ち上がってくるはずのB工程の類似度SBが、上昇しきらずに、しばらく時間が経過した後にSBがピークを迎えたSB正常範囲を外れてしまった状態を示している。このようなことは、作業者が気絶したり、居眠りをしたりして、そのあと気づいて作業を再開した、といった場合に起こり得る。この場合も、SBが正常範囲を外れたことをもって、異常作業を検出することができる。
2 モジュール
3 部品箱
4 左手
5 部品
6 標準画像
7 作業状況画像
8 物体
9 右手
10 撮像手段
20 標準画像格納手段
30 類似度算出手段
40 類似度基準格納手段
50 異常作業検出手段
100、200 異常作業検出システム
110、210 撮像部
120、220 標準画像格納部
130、230 類似度算出部
131、231 特徴量抽出部
140、240 類似度基準格納部
150、250 異常作業検出部
232 物体認識部
233 重み付け設定部
S 類似度
Claims (10)
- 作業状況を撮影する撮像手段と、
複数の工程の正常作業を撮影した標準画像を格納する標準画像格納手段と、
前記撮像手段が撮影した作業状況画像の前記標準画像に対する類似度を算出する類似度算出手段と、
前記類似度の時間変動についての基準を定めた類似度基準を格納する類似度基準格納手段と、
前記類似度算出手段が算出した前記類似度と前記類似度基準とに基づいて異常作業を検出する異常作業検出手段と、を有し、
前記類似度基準が、前記工程の実施順に対応する類似度変動の正常範囲を有する、
ことを特徴とする異常作業検出システム。 - 前記類似度算出手段が、
前記標準画像および前記作業状況画像の特徴点を抽出し前記特徴点における特徴量を算出する特徴量抽出手段を有する、
ことを特徴とする請求項1に記載の異常作業検出システム。 - 前記類似度算出手段が、
前記特徴量抽出手段の抽出した前記特徴量に基づいて前記標準画像中の物体および前記作業状況画像中の物体を認識する物体認識手段と、
前記物体認識手段が認識した所定の物体の前記特徴量に対して前記類似度を算出するための重み付けを設定する重み付け設定手段と、を有する、
ことを特徴とする請求項2に記載の異常作業検出システム。 - 作業状況を撮影する撮像手段と、
複数の工程の正常作業を撮影した標準画像を格納する標準画像格納手段と、
前記撮像手段が撮影した作業状況画像の前記標準画像に対する類似度を算出する類似度算出手段と、
前記類似度の時間変動についての基準を定めた類似度基準を格納する類似度基準格納手段と、
前記類似度算出手段が算出した前記類似度と前記類似度基準とに基づいて異常作業を検出する異常作業検出手段と、を有し、
前記類似度算出手段が、
前記標準画像および前記作業状況画像の特徴点を抽出し前記特徴点における特徴量を算出する特徴量抽出手段と、
前記特徴量抽出手段の抽出した前記特徴量に基づいて前記標準画像中の物体および前記作業状況画像中の物体を認識する物体認識手段と、
前記物体認識手段が認識した所定の物体の前記特徴量に対して前記類似度を算出するための重み付けを設定する重み付け設定手段と、
を有する、ことを特徴とする異常作業検出システム。 - 異常作業検出装置が、
作業状況を撮影した作業状況画像を取得し、
所定の工程の正常作業を撮影した標準画像を格納し、
前記作業状況画像の前記標準画像に対する類似度を算出し、
前記工程の実施順に対応する類似度変動の正常範囲を設定して、前記類似度の時間変動についての基準を定めた類似度基準を格納し、
算出した前記類似度と前記類似度基準とに基づいて異常作業を検出する、
ことを特徴とする異常作業検出装置の制御方法。 - 前記標準画像および前記作業状況画像の特徴点を抽出し、
前記特徴点における特徴量を算出して前記類似度を算出する、
ことを特徴とする請求項5に記載の異常作業検出装置の制御方法。 - 前記特徴量に基づいて前記標準画像中の物体および前記作業状況画像中の物体を認識し、
認識した所定の物体の前記特徴量に対して前記類似度を算出するための重み付けを設定する、
ことを特徴とする請求項6に記載の異常作業検出装置の制御方法。 - 異常作業検出装置が、
作業状況を撮影した作業状況画像を取得し、
所定の工程の正常作業を撮影した標準画像を格納し、
前記作業状況画像の前記標準画像に対する類似度を算出し、
前記類似度の時間変動についての基準を定めた類似度基準を格納し、
算出した前記類似度と前記類似度基準とに基づいて異常作業を検出し、
前記標準画像および前記作業状況画像の特徴点を抽出し、
前記特徴点における特徴量を算出して前記類似度を算出し、
抽出した前記特徴量に基づいて前記標準画像中の物体および前記作業状況画像中の物体を認識し、
認識した所定の物体の前記特徴量に対して前記類似度を算出するための重み付けを設定する、
ことを特徴とする異常作業検出装置の制御方法。 - 作業状況を撮影した作業状況画像を取得するステップと、
複数の工程の正常作業を撮影した標準画像を格納するステップと、
撮影した作業状況画像の前記標準画像に対する類似度を算出するステップと、
前記工程の実施順に対応する類似度変動の正常範囲を設定して、前記類似度の時間変動についての基準を定めた類似度基準を格納するステップと、
前記類似度と前記類似度基準とに基づいて異常作業を検出するステップと、
を異常作業検出装置に実行させることを特徴とする異常作業検出装置の制御プログラム。 - 作業状況を撮影した作業状況画像を取得するステップと、
所定の工程の正常作業を撮影した標準画像を格納するステップと、
前記作業状況画像の前記標準画像に対する類似度を算出するステップと、
前記類似度の時間変動についての基準を定めた類似度基準を格納するステップと、
算出した前記類似度と前記類似度基準とに基づいて異常作業を検出するステップと、
前記標準画像および前記作業状況画像の特徴点を抽出するステップと、
前記特徴点における特徴量を算出して前記類似度を算出するステップと、
抽出した前記特徴量に基づいて前記標準画像中の物体および前記作業状況画像中の物体を認識するステップと、
認識した所定の物体の前記特徴量に対して前記類似度を算出するための重み付けを設定するステップと、
を異常作業検出装置に実行させることを特徴とする異常作業検出装置の制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015216889A JP6672712B2 (ja) | 2015-11-04 | 2015-11-04 | 異常作業検出システムおよび異常作業検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015216889A JP6672712B2 (ja) | 2015-11-04 | 2015-11-04 | 異常作業検出システムおよび異常作業検出方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020037531A Division JP2020102245A (ja) | 2020-03-05 | 2020-03-05 | 異常作業検出システムおよび異常作業検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017091009A JP2017091009A (ja) | 2017-05-25 |
JP6672712B2 true JP6672712B2 (ja) | 2020-03-25 |
Family
ID=58770714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015216889A Active JP6672712B2 (ja) | 2015-11-04 | 2015-11-04 | 異常作業検出システムおよび異常作業検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6672712B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6749488B2 (ja) * | 2017-05-26 | 2020-09-02 | 三菱電機ビルテクノサービス株式会社 | 異常重要度算出システム、異常重要度算出装置、及び異常重要度算出プログラム |
JP6997013B2 (ja) | 2018-03-05 | 2022-01-17 | 株式会社日立製作所 | 作業動作解析システム及び作業動作解析方法 |
CN111105109A (zh) * | 2018-10-25 | 2020-05-05 | 玳能本股份有限公司 | 操作检测装置、操作检测方法及操作检测系统 |
CN111144262B (zh) * | 2019-12-20 | 2023-05-16 | 北京容联易通信息技术有限公司 | 一种基于监控视频的工序异常检测方法 |
JP2020102245A (ja) * | 2020-03-05 | 2020-07-02 | 日本電気株式会社 | 異常作業検出システムおよび異常作業検出方法 |
US20240046703A1 (en) * | 2021-01-22 | 2024-02-08 | Omron Corporation | Work management device, work management method, and computer readable storage medium |
CN114881937B (zh) * | 2022-04-15 | 2022-12-09 | 北京医准智能科技有限公司 | 一种针对超声切面的检测方法、装置及计算机可读介质 |
JP7271769B1 (ja) | 2022-05-19 | 2023-05-11 | 大陽日酸株式会社 | 高圧ガス設備監視システム及び高圧ガス設備監視方法 |
CN116168018A (zh) * | 2023-04-18 | 2023-05-26 | 厦门微图软件科技有限公司 | 一种基于度量学习的用于检测工业缺陷的异常检测算法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8724891B2 (en) * | 2004-08-31 | 2014-05-13 | Ramot At Tel-Aviv University Ltd. | Apparatus and methods for the detection of abnormal motion in a video stream |
JP4784752B2 (ja) * | 2006-06-30 | 2011-10-05 | サクサ株式会社 | 画像処理装置 |
JP2009289112A (ja) * | 2008-05-30 | 2009-12-10 | Tokyo Electron Ltd | 作業情報提供装置、作業情報提供方法、およびプログラム |
JP2011133984A (ja) * | 2009-12-22 | 2011-07-07 | Panasonic Corp | 動作特徴抽出装置および動作特徴抽出方法 |
-
2015
- 2015-11-04 JP JP2015216889A patent/JP6672712B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017091009A (ja) | 2017-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6672712B2 (ja) | 異常作業検出システムおよび異常作業検出方法 | |
AU2015224418B2 (en) | Three-dimensional coordinate computing apparatus, three-dimensional coordinate computing method, and non-transitory computer readable recording medium having therein program for three-dimensional coordinate computing | |
JP6161257B2 (ja) | イベント検出装置及びその方法、動作認識装置及びその方法、プログラム | |
US10083512B2 (en) | Information processing apparatus, information processing method, position and orientation estimation apparatus, and robot system | |
JP6525545B2 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
US9672634B2 (en) | System and a method for tracking objects | |
JP5498454B2 (ja) | 追跡装置、追跡方法およびプログラム | |
US10063843B2 (en) | Image processing apparatus and image processing method for estimating three-dimensional position of object in image | |
WO2021036373A1 (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
TWI438702B (zh) | 影像環境邊界之動態設定方法及人員活動內容之即時判定方法 | |
US20150146006A1 (en) | Display control apparatus and display control method | |
JP2013161405A5 (ja) | 被写体判定装置、被写体判定方法及びプログラム | |
TW202134808A (zh) | 用於製造程序的系統、方法及媒體 | |
WO2018235219A1 (ja) | 自己位置推定方法、自己位置推定装置および自己位置推定プログラム | |
KR20160129077A (ko) | 이미지 수집 방법 및 장치 | |
JP2015121524A5 (ja) | ||
JP2020102245A (ja) | 異常作業検出システムおよび異常作業検出方法 | |
JP6504180B2 (ja) | 異常検出装置、異常検出方法および異常検出プログラム | |
JP7235094B2 (ja) | 異常作業検出システム、異常作業検出方法、および異常作業検出プログラム | |
JP6393495B2 (ja) | 画像処理装置および物体認識方法 | |
JP2023075113A (ja) | 異常作業検出システム、異常作業検出方法、および異常作業検出プログラム | |
CN114648809A (zh) | 计算机实施的处理监视方法、装置、系统和记录介质 | |
CN109960961A (zh) | 行人识别方法和装置 | |
JP2018059735A (ja) | 積層体境界検出装置、該方法、該プログラムおよび記録媒体 | |
JP2021197623A5 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181015 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6672712 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |