JP5149033B2 - 動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置 - Google Patents
動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置 Download PDFInfo
- Publication number
- JP5149033B2 JP5149033B2 JP2008044797A JP2008044797A JP5149033B2 JP 5149033 B2 JP5149033 B2 JP 5149033B2 JP 2008044797 A JP2008044797 A JP 2008044797A JP 2008044797 A JP2008044797 A JP 2008044797A JP 5149033 B2 JP5149033 B2 JP 5149033B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- sequence data
- divided
- data
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
請求項1の発明にかかる動作解析方法は下記の第1〜4ステップから構成され、請求項3の発明にかかる動作解析装置4は下記の第1〜4手段から構成されている。
請求項2の発明にかかる動作解析方法は下記の第1〜4ステップから構成され、請求項4の発明にかかる動作解析装置4は下記の第1〜4手段から構成されている。
請求項1または請求項2の発明を前提とする請求項5の発明にかかる動作解析方法、請求項3または請求項4の発明を前提とする請求項6の発明にかかる動作解析装置においては、第2ステップまたは第2手段で、複数方向別ヒストグラムは正負の符号を持つ複数軸別のヒストグラムであって、近隣の時刻間での4軸のヒストグラム値の絶対値和を評価値とし、傾きが負から正に変化する点を分割点として検出する。
請求項5〜6の発明では、動画像データの分割の際に、傾きが負から正に変化する点を分割点として検出することができる。
請求項10〜11の発明では、その評価を処理手段7により有効に利用することができる。
図1に示す雌雄ねじ部材1の締付け作業においては、最初に、部品を治具に固定し、複数組の雌雄ねじ部材1を締付け箇所に手締めする。次に、締付具(例えばトルクレンチ2)に対し規定トルクに達するまで「締める」→「戻す」の動作を繰り返す。トルクレンチ2で締め付ける箇所は複数あり、締付け作業を複数繰り返し行うため、途中、締付け作業を忘れるミスが発生することがある。この作業漏れを検出するために、トルクレンチ2にトルクセンサを設け、締付け作業の回数をカウントすることで、「締付け作業忘れ」ミスを検出するシステムが現場では利用されている。このシステムは、トルクが閾値以上となった回数を締付けた雌雄ねじ部材1の個数として判断し、作業終了後にカウントを表示することで、締付けるべき雌雄ねじ部材1の個数と一致していることを確認する。一致していない場合には、「締付け作業忘れ」などの作業ミスがあったとして、作業の再確認を要求する。しかし、このシステムでは、同一箇所や同一の雌雄ねじ部材1に対して二度締めした場合でも、二つの雌雄ねじ部材1を締め付けたと判断され、それ以降に雌雄ねじ部材1を一つ締め付け忘れても、カウントは規定をクリアし、「締付け作業忘れ」を検出できない問題がある。
図2に示すように、カメラ映像は多数の連続するフレームからできており、動作の最小単位である要素動作を構成する連続なフレームの集まりに、要素動作と要素動作の境(画像の変化点)である分割点を検出することで分割する。さらには複数の要素動作からひとつの意味のあるまとまりを構成する要素動作の集合を一動作と呼ぶ。
Claims (11)
- 動作解析対象の運動を撮像した動画像データから抽出した局所的な動き情報である動きベクトルの統計量から得られた動きベクトルの複数方向別ヒストグラムに基づき第一段階の特徴データを算出する第1ステップと、
近隣の時刻間における動きベクトルの複数方向別ヒストグラムの絶対値差分和を評価値として用い、その第1ステップで算出した第一段階の特徴データの時系列変化から動画像データを分割する第2ステップと、
その第2ステップで分割した第一段階の特徴データから分割区間毎に第二段階の時系列特徴データを算出して分割区間列データを獲得する第3ステップと、
その第3ステップで獲得した分割区間列データの類似度を閾値により評価することで、隣接する分割区間を要素動作に統合して分類した要素動作列データを獲得し、さらに現要素動作とその二つ前の要素動作での、積算され正規化された動きベクトル方向ヒストグラムの類似度を閾値処理により判定し、要素動作の連続回数が閾値以上となった場合に一動作を検出して、要素動作列を一動作に統合して分類した一動作列データを獲得する第4ステップと
を備え、その第4ステップから得られる一動作列データに基づき一動作を解析することを特徴とする動作解析方法。 - 動作解析対象の運動を撮像した動画像データから抽出した局所的な動き情報である動きベクトルの統計量から得られた動きベクトルの複数方向別ヒストグラムに基づき第一段階の特徴データを算出する第1ステップと、
近隣の時刻間における動きベクトルの複数方向別ヒストグラムの絶対値差分和を評価値として用い、その第1ステップで算出した第一段階の特徴データの時系列変化から動画像データを分割する第2ステップと、
その第2ステップで分割した第一段階の特徴データから分割区間毎に第二段階の時系列特徴データを算出してその第二段階の時系列特徴データに基づきその分割区間を分類した分割区間列データを獲得する第3ステップと、
その第3ステップで獲得した分割区間列データの類似度を閾値により評価することで、隣接する分割区間を要素動作に統合して分類した要素動作列データを獲得し、さらに現要素動作とその二つ前の要素動作での、積算され正規化された動きベクトル方向ヒストグラムの類似度を閾値処理により判定し、要素動作の連続回数が閾値以上となった場合に一動作を検出して、要素動作列を一動作に統合して分類した一動作列データを獲得する第4ステップと
を備え、その第4ステップから得られる一動作列データに基づき一動作を解析することを特徴とする動作解析方法。 - 動作解析対象の運動を撮像した動画像データから抽出した局所的な動き情報である動きベクトルの統計量から得られた動きベクトルの複数方向別ヒストグラムに基づき第一段階の特徴データを算出する第1手段と、
近隣の時刻間における動きベクトルの複数方向別ヒストグラムの絶対値差分和を評価値として用い、その第1手段で算出した第一段階の特徴データの時系列変化から動画像データを分割する第2手段と、
その第2手段で分割した第一段階の特徴データから分割区間毎に第二段階の時系列特徴データを算出して分割区間列データを獲得する第3手段と、
その第3手段で獲得した分割区間列データの類似度を閾値により評価することで、隣接する分割区間を要素動作に統合して分類した要素動作列データを獲得し、さらに現要素動作とその二つ前の要素動作での、積算され正規化された動きベクトル方向ヒストグラムの類似度を閾値処理により判定し、要素動作の連続回数が閾値以上となった場合に一動作を検出して、要素動作列を一動作に統合して分類した一動作列データを獲得する第4手段と
を備え、その第4手段から得られる一動作列データに基づき一動作を解析することを特徴とする動作解析装置。 - 動作解析対象の運動を撮像した動画像データから抽出した局所的な動き情報である動きベクトルの統計量から得られた動きベクトルの複数方向別ヒストグラムに基づき第一段階の特徴データを算出する第1手段と、
近隣の時刻間における動きベクトルの複数方向別ヒストグラムの絶対値差分和を評価値として用い、その第1手段で算出した第一段階の特徴データの時系列変化から動画像データを分割する第2手段と、
その第2手段で分割した第一段階の特徴データから分割区間毎に第二段階の時系列特徴データを算出してその第二段階の時系列特徴データに基づきその分割区間を分類した分割区間列データを獲得する第3手段と、
その第3手段で獲得した分割区間列データの類似度を閾値により評価することで、隣接する分割区間を要素動作に統合して分類した要素動作列データを獲得し、さらに現要素動作とその二つ前の要素動作での、積算され正規化された動きベクトル方向ヒストグラムの類似度を閾値処理により判定し、要素動作の連続回数が閾値以上となった場合に一動作を検出して、要素動作列を一動作に統合して分類した一動作列データを獲得する第4手段と
を備え、その第4手段から得られる一動作列データに基づき一動作を解析することを特徴とする動作解析装置。 - 第2ステップにおいて、複数方向別ヒストグラムは正負の符号を持つ複数軸別のヒストグラムであって、近隣の時刻間での4軸のヒストグラム値の絶対値和を評価値とし、傾きが負から正に変化する点を分割点として検出することを特徴とする請求項1または請求項2に記載の動作解析方法。
- 第2手段において、複数方向別ヒストグラムは正負の符号を持つ複数軸別のヒストグラムであって、近隣の時刻間での4軸のヒストグラム値の絶対値和を評価値とし、傾きが負から正に変化する点を分割点として検出することを特徴とする請求項3または請求項4に記載の動作解析装置。
- 外部機器からの信号を検出して解析対象区間の指定や動画像データの分割を行うことを特徴とする請求項1または請求項2または請求項5に記載の動作解析方法。
- 外部機器からの信号を検出して解析対象区間の指定や動画像データの分割を行うことを特徴とする請求項3または請求項4または請求項6に記載の動作解析装置。
- 請求項3または請求項4または請求項6または請求項8に記載の動作解析装置と、その動作解析装置により動作解析対象の運動に対して得られる要素動作列データ及び一動作列データと、予め設定した標準の要素動作列データ及び一動作列データとを比較し、それらの間の類似度を閾値により動作を評価する評価手段を備えたことを特徴とする動作評価装置。
- 前記評価手段からの評価信号に基づく処理を行う処理手段を備えたことを特徴とする請求項9に記載の動作評価装置。
- 前記動作解析対象の運動は、作業者が行う繰り返し動作であることを特徴とする請求項9または請求項10に記載の動作評価装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008044797A JP5149033B2 (ja) | 2008-02-26 | 2008-02-26 | 動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008044797A JP5149033B2 (ja) | 2008-02-26 | 2008-02-26 | 動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009205282A JP2009205282A (ja) | 2009-09-10 |
JP5149033B2 true JP5149033B2 (ja) | 2013-02-20 |
Family
ID=41147497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008044797A Expired - Fee Related JP5149033B2 (ja) | 2008-02-26 | 2008-02-26 | 動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5149033B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5604256B2 (ja) * | 2010-10-19 | 2014-10-08 | 日本放送協会 | 人物動作検出装置およびそのプログラム |
JP2014506695A (ja) * | 2011-01-30 | 2014-03-17 | ミレイ,ラム スリカンス | 技術評価 |
CN105009027B (zh) * | 2012-12-03 | 2018-09-04 | 纳维森斯有限公司 | 用于估计对象的运动的系统和方法 |
KR101436369B1 (ko) | 2013-06-25 | 2014-09-11 | 중앙대학교 산학협력단 | 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법 |
US10110858B2 (en) * | 2015-02-06 | 2018-10-23 | Conduent Business Services, Llc | Computer-vision based process recognition of activity workflow of human performer |
EP3651055A4 (en) | 2017-08-01 | 2020-10-21 | Huawei Technologies Co., Ltd. | METHOD, APPARATUS AND DEVICE FOR GESTURE RECOGNITION |
JP2021076888A (ja) * | 2019-11-05 | 2021-05-20 | 株式会社日立製作所 | 作業認識装置 |
CN111783567B (zh) * | 2020-06-16 | 2023-07-25 | 西安外事学院 | 一种基于极值标识的时间序列分类方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3648199B2 (ja) * | 2001-12-27 | 2005-05-18 | 株式会社エヌ・ティ・ティ・データ | カット検出装置およびそのプログラム |
JP2006209468A (ja) * | 2005-01-28 | 2006-08-10 | Yakahi Kikuko | 作業動作解析装置、作業動作解析方法および作業動作解析プログラム |
-
2008
- 2008-02-26 JP JP2008044797A patent/JP5149033B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009205282A (ja) | 2009-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5149033B2 (ja) | 動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置 | |
US20060029276A1 (en) | Object image detecting apparatus, face image detecting program and face image detecting method | |
JP7072531B2 (ja) | 異常検出装置および異常検出方法 | |
CN112446363A (zh) | 一种基于视频抽帧的图像拼接与去重方法及装置 | |
US20080260206A1 (en) | Image processing apparatus and computer program product | |
JP2020181532A (ja) | 画像判定装置及び画像判定方法 | |
WO2019187228A1 (ja) | 品質監視システム | |
CN105809674A (zh) | 一种基于机器视觉的模具保护装置及其方法 | |
CN104867128A (zh) | 图像模糊检测方法和装置 | |
CN113639685A (zh) | 位移检测方法、装置、设备和存储介质 | |
JP2009032033A (ja) | 動作境界検出方法および作業分析システム | |
CN104424633A (zh) | 一种视频对比度异常检测方法及装置 | |
CN104966283A (zh) | 图像分层配准方法 | |
CN117314890B (zh) | 打扣加工的安全控制方法、装置、设备及存储介质 | |
JP2023047003A (ja) | 機械学習システム、学習データ収集方法及び学習データ収集プログラム | |
CN116078860A (zh) | 一种冲压模具的拉延工序的监测方法、装置、电子设备 | |
CN112136087B (zh) | 作业分析装置 | |
CN114846513A (zh) | 动作分析系统和动作分析程序 | |
CN112508925B (zh) | 电子锁面板质量检测方法、系统、计算机装置和存储介质 | |
US20220198802A1 (en) | Computer-implemental process monitoring method, device, system and recording medium | |
JP6264008B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2020140365A (ja) | 製品品質不良予測システム | |
JP2022135007A (ja) | 作業適正判定装置 | |
CN103630547B (zh) | 具有周期性结构的光学薄膜的瑕疵检测方法及其检测装置 | |
JP2009110239A (ja) | 作業動作分析システム及び作業動作分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20100326 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100329 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100610 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110119 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110119 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120321 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120327 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120807 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5149033 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |