JP5149033B2 - 動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置 - Google Patents

動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置 Download PDF

Info

Publication number
JP5149033B2
JP5149033B2 JP2008044797A JP2008044797A JP5149033B2 JP 5149033 B2 JP5149033 B2 JP 5149033B2 JP 2008044797 A JP2008044797 A JP 2008044797A JP 2008044797 A JP2008044797 A JP 2008044797A JP 5149033 B2 JP5149033 B2 JP 5149033B2
Authority
JP
Japan
Prior art keywords
motion
sequence data
divided
data
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008044797A
Other languages
English (en)
Other versions
JP2009205282A (ja
Inventor
早苗 清水
義典 丹羽
秀和 平湯
幸人 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gifu Prefecture
Gifu Auto Body Co Ltd
Original Assignee
Gifu Prefecture
Gifu Auto Body Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gifu Prefecture, Gifu Auto Body Co Ltd filed Critical Gifu Prefecture
Priority to JP2008044797A priority Critical patent/JP5149033B2/ja
Publication of JP2009205282A publication Critical patent/JP2009205282A/ja
Application granted granted Critical
Publication of JP5149033B2 publication Critical patent/JP5149033B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、各種作業者や各種物体等である動作解析対象の運動を解析する動作解析方法及び動作解析装置、並びに、その動作解析装置により動作解析対象の運動について実際に得られた実際データとその運動について予め設定した標準データとを比較して評価する動作評価装置に関するものである。
製造現場における組立工程では、機械化が進みつつあるが、細かく複雑な作業や多品種少量生産への対応などの理由から、人の介在が必要な工程が多く存在する。そのため,現場では「作業間違い」や「作業忘れ」といったヒューマンエラーによる品質不具合が発生する。この不良品が市場へ流出した場合、利用者からの信頼を失うことはもちろん、例え最終検査で市場流出を防ぐことができたとしても、工場内で発生した場合、ライン停止や後戻り工数の発生や廃棄などの大きな損害が生じるなど多大な影響を及ほす。そのため、製造現場においてヒューマンエラーの防止策は最大の課題とされている。
従来、大手メーカーでは、量産品を対象として作業指示ランプや動作確認センサなど、大量の機材を用いて作業ミスを発見するシステムを構築し、対策を行ってきた。しかし、近年要求の多い多品種少量生産の多様な組立作業への対応が課題となっている。また、作業ミスをその場で発見することで、次工程への流出を防ぎ、また後戻り工数や廃棄を最小化することも求められるが、作業工程ごとに検査を行うことは、工数増となり、生産性を低下させる問題もある。
特開2007−334859号公報
このように大量のセンサによる部品等に注目した手法に対して、オプティカルフローを利用した検出手段が例えば上記特許文献1など多種提案されている。従来、画像から動作特徴を抽出する方法のひとつとして、画像中から顔や手などの注目する点や領域を抽出する方法があり、動作認識や映像の一動作分割に用いられている。しかし、人間の体は複雑であり、オクルージョンや大きな見えの変化が生じる可能性があるため、安定な特徴抽出が困難な場合がある。
この発明は、各種作業者や各種物体等である動作解析対象の運動を従来にない新たな手法により解析することができる動作解析方法及び動作解析装置を提供することを第一の目的とし、そのような基本的手法を基に、前述したヒューマンエラーの防止策などとして各種用途に応用することができる動作評価装置を提供することを第二の目的としている。
後記実施形態の図面の符号を援用して本発明を説明する。
請求項1の発明にかかる動作解析方法は下記の第1〜4ステップから構成され、請求項3の発明にかかる動作解析装置4は下記の第1〜4手段から構成されている。
第1ステップまたは第1手段では、動作解析対象の運動を撮像した動画像データから抽出した局所的な動き情報である動きベクトルの統計量から得られた動きベクトルの複数方向別ヒストグラムに基づき第一段階の特徴データを算出する。この動作解析対象としては、作業者ばかりでなくすべての運動物体を含む。この動作解析対象の運動としては、例えば、往復回転運動や往復直線運動などの往復運動を含む繰り返し運動である。この動画像データは、例えば、CCDカメラ3により撮像されたものである。
第2ステップまたは第2手段では、近隣の時刻間における動きベクトルの複数方向別ヒストグラムの絶対値差分和を評価値として用い、その第1ステップまたはその第1手段で算出した第一段階の特徴データの時系列変化から動画像データを分割する。例えば、動きの向きに変化があった場合には動作が切り替わる分割点とし、動きの向きに変化がなかった場合には要素動作中または静止中とする。
第3ステップまたは第3手段では、その第2ステップまたは第2手段で分割した第一段階の特徴データから分割区間毎に第二段階の時系列特徴データを算出して分割区間列データを獲得する。
第4ステップまたは第4手段では、その第3ステップまたは第3手段で獲得した分割区間列データ分割区間列データの類似度を閾値により評価することで、隣接する分割区間を要素動作に統合して分類した要素動作列データを獲得し、さらに現要素動作とその二つ前の要素動作での、積算され正規化された動きベクトル方向ヒストグラムの類似度を閾値処理により判定し、要素動作の連続回数が閾値以上となった場合に一動作を検出して、要素動作列を一動作に統合して分類した一動作列データを獲得する。そして、その第4ステップまたは第4手段から得られる一動作列データに基づき一動作を解析する。
請求項2の発明にかかる動作解析方法は下記の第1〜4ステップから構成され、請求項4の発明にかかる動作解析装置4は下記の第1〜4手段から構成されている。
請求項2の発明にかかる動作解析方法における第1,2,4ステップは請求項1の発明にかかる動作解析方法における第1,2,4ステップと同様であり、請求項4の発明にかかる動作解析装置4における第1,2,4手段は請求項3の発明にかかる動作解析装置4における第1,2,4手段と同様であるが、第3ステップまたは第3手段では、その第2ステップまたは第2手段で分割した第一段階の特徴データから分割区間毎に第二段階の時系列特徴データを算出してその第二段階の時系列特徴データに基づきその分割区間を分類した分割区間列データを獲得する。そして、その第4ステップまたは第4手段から得られる一動作列データに基づき一動作を解析する。この要素動作としては、例えば後記実施形態で記載した雌雄ねじ部材1の締付け作業において動作の最小単位である「締める」動作及び「戻す」動作が該当する。また、この一動作は各要素動作の集まりであり、例えば後記実施形態で記載した雌雄ねじ部材1の締付け作業において一つの雌雄ねじ部材1に対する締付け開始動作から締付け終了動作までが該当する。
請求項1または請求項2の発明を前提とする請求項5の発明にかかる動作解析方法、請求項3または請求項4の発明を前提とする請求項6の発明にかかる動作解析装置においては、第2ステップまたは第2手段で、複数方向別ヒストグラムは正負の符号を持つ複数軸別のヒストグラムであって、近隣の時刻間での4軸のヒストグラム値の絶対値和を評価値とし、傾きが負から正に変化する点を分割点として検出する。
請求項1または請求項2または請求項5の発明を前提とする請求項7の発明にかかる動作解析方法、または、請求項3または請求項4または請求項6の発明を前提とする請求項8の発明にかかる動作解析装置4においては、外部機器からの信号、例えば、トルクレンチ2のトルクセンサからの信号や、治具への部品のセットまたは取外しの際における治具からの信号や、他の撮像装置による信号を検出して解析対象区間の指定や動画像データの分割を行う。
請求項9の発明にかかる動作評価装置5においては、請求項3または請求項4または請求項6または請求項8に記載の動作解析装置4と、その動作解析装置4により動作解析対象の運動に対して得られる要素動作列データ及び一動作列データと、予め設定した標準の要素動作列データ及び一動作列データとを比較し、それらの間の類似度を閾値により動作を評価する評価手段6を備えている。この評価手段6においては、例えば、実際の動作解析対象の運動に対して得られる要素動作列データや一動作列データに基づく実際データと、予め設定した標準の要素動作列データや一動作列データに基づく標準データとを比較して、実際作業の正否を判定する。そのほか、この評価手段6は、要素動作や一動作にかかる作業時間と、予め設定した標準作業時間とを比較して、作業者の熟練度や作業の品質も評価することができる。
請求項9の発明を前提とする請求項10の発明にかかる動作評価装置5においては、前記評価手段6からの評価信号に基づく処理を行う処理手段7を備えている。例えば、前記実際データが標準データと異なると前記評価手段6が判定した場合、その評価手段6からの評価信号に基づき、この処理手段6は画面にエラー表示をして作業者に伝えたりブザー等によりエラーを作業者に伝えたりコンベヤラインを停止させたりする。
請求項9または請求項10の発明を前提とする請求項11の発明にかかる動作評価装置5において、前記動作解析対象の運動は、作業者が行う繰り返し動作である。この繰り返し動作としては、後記実施形態に記載した雌雄ねじ部材1の締付け作業における動作ばかりでなく、往復回転運動や往復直線運動などの往復運動を含む。
請求項1〜4の発明では、動画像データから抽出した動きベクトルの複数方向別ヒストグラムに基づき、特徴データの算出と、動画像データの分割と、分割区間列データの獲得と、要素動作列データの獲得と、一動作列データの獲得とを経て、一動作を解析することができる。
請求項5〜6の発明では、動画像データの分割の際に、傾きが負から正に変化する点を分割点として検出することができる。
請求項7〜8の発明では、解析対象区間の指定や動画像データの分割に外部機器からの信号を利用することができる。
請求項9〜11の発明では、動作解析装置4を利用して動作解析対象の運動(作業者が行う繰り返し動作など)を評価することができる。
請求項10〜11の発明では、その評価を処理手段7により有効に利用することができる。
本発明の一実施形態においては、組立工程で最も重要かつ基本的な作業である雌雄ねじ部材の締付け作業を動作解析対象の運動の具体例として説明する。
図1に示す雌雄ねじ部材1の締付け作業においては、最初に、部品を治具に固定し、複数組の雌雄ねじ部材1を締付け箇所に手締めする。次に、締付具(例えばトルクレンチ2)に対し規定トルクに達するまで「締める」→「戻す」の動作を繰り返す。トルクレンチ2で締め付ける箇所は複数あり、締付け作業を複数繰り返し行うため、途中、締付け作業を忘れるミスが発生することがある。この作業漏れを検出するために、トルクレンチ2にトルクセンサを設け、締付け作業の回数をカウントすることで、「締付け作業忘れ」ミスを検出するシステムが現場では利用されている。このシステムは、トルクが閾値以上となった回数を締付けた雌雄ねじ部材1の個数として判断し、作業終了後にカウントを表示することで、締付けるべき雌雄ねじ部材1の個数と一致していることを確認する。一致していない場合には、「締付け作業忘れ」などの作業ミスがあったとして、作業の再確認を要求する。しかし、このシステムでは、同一箇所や同一の雌雄ねじ部材1に対して二度締めした場合でも、二つの雌雄ねじ部材1を締め付けたと判断され、それ以降に雌雄ねじ部材1を一つ締め付け忘れても、カウントは規定をクリアし、「締付け作業忘れ」を検出できない問題がある。
通常、一回目の締付けでは手で仮締めされているだけであるため、「締める」→「戻す」の動作を1〜2回行っただけで規定トルクに達することはない。一方,二回目以降の締付けは規定トルク以上の締付けがすでに行われているため、「締める」→「戻す」の動作が繰り返さることはない。そこで、そのような動作に注目し、作業時に最も頻度の高い作業ミスである雌雄ねじ部材1の「締付け作業忘れ」を、二度締めをカウントすることなく検出することができる従来にない新たな手法を以下に詳述する。
まず、図1に示すように、トルクレンチ2による雌雄ねじ部材1の締付け作業をCCDカメラ3により撮像する。
図2に示すように、カメラ映像は多数の連続するフレームからできており、動作の最小単位である要素動作を構成する連続なフレームの集まりに、要素動作と要素動作の境(画像の変化点)である分割点を検出することで分割する。さらには複数の要素動作からひとつの意味のあるまとまりを構成する要素動作の集合を一動作と呼ぶ。
組立工程における雌雄ねじ部材1の締付け作業では、トルクレンチ2を奥から手前に引く「締める」動作と手前から奥に「戻す」動作とが基本動作(要素動作)となり、定められた箇所に定められた部品を取り付ける無駄のない規則的な動作として扱うことができ、この「締める」動作及び「戻す」動作を始点と終点を結ぶ無駄のない最適な動きと定義して最小単位として扱う。この「締める」動作及び「戻す」動作は要素動作に対応し、この要素動作の並びにより雌雄ねじ部材1の締付け作業が表現されて一動作を構成する。
図1に示すように、前記CCDカメラ3により撮像された動画像データは、動作解析装置4に入力される。この動画像データから抽出した局所的な動き情報の統計量に基づき算出した第一段階の特徴データの時系列変化から動画像データを「締める」動作及び「戻す」動作である要素動作に分割する。つまり、要素動作と要素動作の切り替わりの点である分割点を検出する。そこで、作業者の動きに着目した分割点の検出手法を提案した。作業者の要素動作を始点と終点とを結ぶ無駄のない最適な動きとして扱う場合、ひとつの要素動作中は動きの方向が変化しないが、要素動作の切り替わりでは動き方向が変化することに注目し、動きベクトルの方向ヒストグラムの変化から動作の分割点を検出する。すなわち、方向分割数を図3(a)に示すように8とした場合、時刻tにおける動きベクトルの方向ヒストグラムは、h8(di,t)(i=0〜7)で表され、その近隣の時刻間での絶対値差分和は式(1)で表される。
Figure 0005149033
この動き方向ヒストグラムの絶対値差分和を評価値として用いた場合、図4(a)に示すように、ひとつの要素動作中に方向変化がない動きには対応できる。しかし、図5(a)に示すように、ひとつの要素動作中であっても、徐々に隣接方向ベクトルへ移行する場合あるが、このような隣接方向への変化に対しても分割点として図5(a)に示すような検出をすることがある。そのため、要素動作のデータを取得するためには、このように多数に分割された分割区間を、要素動作に統合する後処理を行う方法と、隣接方向への変化はひとつの要素動作であるとし反転変化のみを分割点として検出する評価値を用いる方法がある。まず前者は、前記第一段階の特徴データから分割区間毎に第二段階の時系列特徴データと、その第二段階の時系列特徴データに基づきその分割区間を分類(記号化)して求める記号列データとのうち少なくともいずれか一方である分割区間列データを利用して、その分割区間列データの類似度を閾値により評価することで、隣接する分割区間を要素動作へ統合する方法である。また後者は、動き方向ベクトルの方向変化でも、隣接方向ベクトルへの変化と反転する方向ベクトルへの変化とを区別し、反転変化のみを分割点として検出することで、前記第一段階の特徴データを要素動作を意味する分割区間に直接分割する方法である。
後者の方法では、図3(b)に示すように、8方向のヒストグラムを正負の符号を持つ4軸のヒストグラムであるH4(di,t)(i=0〜3)に対し式(2)により変換した特徴を用いる。
Figure 0005149033
動作が切り替わる点では、図4(b)及び図5(b)に示すように、各軸のヒストグラム値の符号が反転する。4軸の符号が同時に反転しない場合があるが、反転する点は付近に存在する。ヒストグラム値が反転する際には、0に近い値をとることから、4軸のヒストグラム値の絶対値和が小さくなる点が、4軸が反転する点、つまり分割点となる。そこで、4軸のヒストグラム値の絶対値和を評価値とし、傾きが負から正に変化する点を分割点として検出し、要素動作に分割する。4軸のヒストグラム値の絶対値和を式(3)に示す。
Figure 0005149033
次に、ここまでに得られる要素動作列データに基づき、複数の要素動作を一動作に統合し、分類する。要素動作列データから雌雄ねじ部材1の締付け作業の正否判定を行う。
雌雄ねじ部材1の締付け作業は、「締める」→「戻す」の動作を繰り返す作業であり、「締める」→「戻す」→「締める」→「戻す」→・・・→「戻す」という要素動作列データが得られる。このとき、現要素動作s0とその二つ前の要素動作s2は、「締める」または「戻す」という同じ要素動作であり、この二つの要素動作が連続して同じ要素動作である場合、その要素動作列を雌雄ねじ部材1の締付け作業と判定する。この二つの要素動作のそれぞれの特徴量h*s0(di),h*s2(di)の類似度を式(4)により求め、閾値処理により同じ要素動作か否かを判定する。
Figure 0005149033
次に,同じ要素動作と判定された連続回数が閾値値以上の場合、その要素動作を雌雄ねじ部材1の締付け作業と判定する。ただし、要素動作(ts<t<te)の特徴量h*sは、要素動作に属する各フレームの動きベクトル方向ヒストグラムを積算し、式(5)及び式(6)に示すように正規化したものとする。
Figure 0005149033
Figure 0005149033
ひとつの雌雄ねじ部材1毎に締付け作業の要素動作を統合し、雌雄ねじ部材1の締付け作業の一動作として検出する。一動作の開始(区切り)は、前述したように同じ要素動作の連続回数が閾値以上となった場合、そのカウントが始まった要素動作する。一動作の終了(区切り)は以下の二つに従い決定する。
要素動作の特徴量の類似性;同じ雌雄ねじ部材1を締め付ける動作の要素動作は、雌雄ねじ部材1の軸が一致しているため、ほぼ同じ動作特徴量を持つ。前述した類似度が閾値以下の場合、他の動作に移ったとして、終了とする。
停止要素動作の検出;通常、雌雄ねじ部材1を締め付ける際には、まずトルクレンチ2を雌雄ねじ部材1にセットしてから作業に入る。トルクレンチ2をセットする動作は、微調整であり動きが小さいため、動きベクトルの大きさに対して閾値処理をすることで、作業の一動作を区切ることが可能な場合が多い。動きが小さい停止要素動作が入ることによって終了とする。
図1に示すように、動作評価装置5は、前記CCDカメラ3及び動作解析装置4のほかに、評価手段6及び処理手段7も含む。この評価手段6は、動作解析装置4からの解析信号に基づき、実際の雌雄ねじ部材1の締付け作業で得られる要素動作列データや一動作列データに基づく実際データと、予め設定した標準の要素動作列データや一動作列データに基づく標準データとを比較して、実際作業の正否を判定する。この実際データが標準データと異なるとこの評価手段6が判定した場合、処理手段7は、その評価手段6からの評価信号に基づき、画面にエラー表示をして作業者に伝える。
実際の組立工場における雌雄ねじ部材1の締付け作業の映像に対して実験を行い、要素動作列データや一動作列データを用いて、要素動作が雌雄ねじ部材1の締付け作業か否かを判定する。ここでは、2度締めと区別し、一回目の締付け作業を評価することを目的とした例であり、3回以上連続して現要素動作とその二つ前の要素動作が同じ要素動作と判定された場合、その該当要素動作列を雌雄ねじ部材1の締付け作業として判定し検出する。そして、この一回目の締付け作業の数が締め付けた雌雄ねじ部材1の個数と判断し、締付けるべき雌雄ねじ部材1の個数より少ない場合、「締付け作業忘れ」ミスがあったとして検出する。図1に示すように、作業者が雌雄ねじ部材1の締付け作業を行うために使用する外部機器としてのトルクレンチ2のトルクセンサからの信号を動作解析装置4に入力する。このトルクレンチ2が設定トルクに達してロックされる信号は締付け作業の完了を意味する信号であり、この信号情報を一動作列データに追加して利用することで、より一層確実な判定を行うことができる。
(a)は本発明の実施形態にかかる動作解析方法を説明するための概略的ブロック図であり、(b)は本発明の実施形態にかかる動作解析装置及び動作評価装置を説明するための概略的ブロック図である。 映像の構造を示す説明図である。 (a)は8方向式動き方向ヒストグラムを示す説明図であり、(b)は4軸式動き方向ヒストグラムを示す説明図である。 (a)(b)は8方向式及び4軸式動き方向ヒストグラムの変化量からの分割点検出(単一方向の動作の場合)についての説明図である。 (a)(b)は8方向式及び4軸式動き方向ヒストグラムの変化量からの分割点検出(隣接方向への方向変化を含む動作の場合)についての説明図である。
符号の説明
1…雌雄ねじ部材、2…トルクレンチ、3…CCDカメラ、4…動作解析装置、5…動作評価装置、6…評価手段、7…処理手段。

Claims (11)

  1. 動作解析対象の運動を撮像した動画像データから抽出した局所的な動き情報である動きベクトルの統計量から得られた動きベクトルの複数方向別ヒストグラムに基づき第一段階の特徴データを算出する第1ステップと、
    近隣の時刻間における動きベクトルの複数方向別ヒストグラムの絶対値差分和を評価値として用い、その第1ステップで算出した第一段階の特徴データの時系列変化から動画像データを分割する第2ステップと、
    その第2ステップで分割した第一段階の特徴データから分割区間毎に第二段階の時系列特徴データを算出して分割区間列データを獲得する第3ステップと、
    その第3ステップで獲得した分割区間列データの類似度を閾値により評価することで、隣接する分割区間を要素動作に統合して分類した要素動作列データを獲得し、さらに現要素動作とその二つ前の要素動作での、積算され正規化された動きベクトル方向ヒストグラムの類似度を閾値処理により判定し、要素動作の連続回数が閾値以上となった場合に一動作を検出して、要素動作列を一動作に統合して分類した一動作列データを獲得する第4ステップと
    を備え、その第4ステップから得られる一動作列データに基づき一動作を解析することを特徴とする動作解析方法。
  2. 動作解析対象の運動を撮像した動画像データから抽出した局所的な動き情報である動きベクトルの統計量から得られた動きベクトルの複数方向別ヒストグラムに基づき第一段階の特徴データを算出する第1ステップと、
    近隣の時刻間における動きベクトルの複数方向別ヒストグラムの絶対値差分和を評価値として用い、その第1ステップで算出した第一段階の特徴データの時系列変化から動画像データを分割する第2ステップと、
    その第2ステップで分割した第一段階の特徴データから分割区間毎に第二段階の時系列特徴データを算出してその第二段階の時系列特徴データに基づきその分割区間を分類した分割区間列データを獲得する第3ステップと、
    その第3ステップで獲得した分割区間列データの類似度を閾値により評価することで、隣接する分割区間を要素動作に統合して分類した要素動作列データを獲得し、さらに現要素動作とその二つ前の要素動作での、積算され正規化された動きベクトル方向ヒストグラムの類似度を閾値処理により判定し、要素動作の連続回数が閾値以上となった場合に一動作を検出して、要素動作列を一動作に統合して分類した一動作列データを獲得する第4ステップと
    を備え、その第4ステップから得られる一動作列データに基づき一動作を解析することを特徴とする動作解析方法。
  3. 動作解析対象の運動を撮像した動画像データから抽出した局所的な動き情報である動きベクトルの統計量から得られた動きベクトルの複数方向別ヒストグラムに基づき第一段階の特徴データを算出する第1手段と、
    近隣の時刻間における動きベクトルの複数方向別ヒストグラムの絶対値差分和を評価値として用い、その第1手段で算出した第一段階の特徴データの時系列変化から動画像データを分割する第2手段と、
    その第2手段で分割した第一段階の特徴データから分割区間毎に第二段階の時系列特徴データを算出して分割区間列データを獲得する第3手段と、
    その第3手段で獲得した分割区間列データの類似度を閾値により評価することで、隣接する分割区間を要素動作に統合して分類した要素動作列データを獲得し、さらに現要素動作とその二つ前の要素動作での、積算され正規化された動きベクトル方向ヒストグラムの類似度を閾値処理により判定し、要素動作の連続回数が閾値以上となった場合に一動作を検出して、要素動作列を一動作に統合して分類した一動作列データを獲得する第4手段と
    を備え、その第4手段から得られる一動作列データに基づき一動作を解析することを特徴とする動作解析装置。
  4. 動作解析対象の運動を撮像した動画像データから抽出した局所的な動き情報である動きベクトルの統計量から得られた動きベクトルの複数方向別ヒストグラムに基づき第一段階の特徴データを算出する第1手段と、
    近隣の時刻間における動きベクトルの複数方向別ヒストグラムの絶対値差分和を評価値として用い、その第1手段で算出した第一段階の特徴データの時系列変化から動画像データを分割する第2手段と、
    その第2手段で分割した第一段階の特徴データから分割区間毎に第二段階の時系列特徴データを算出してその第二段階の時系列特徴データに基づきその分割区間を分類した分割区間列データを獲得する第3手段と、
    その第3手段で獲得した分割区間列データの類似度を閾値により評価することで、隣接する分割区間を要素動作に統合して分類した要素動作列データを獲得し、さらに現要素動作とその二つ前の要素動作での、積算され正規化された動きベクトル方向ヒストグラムの類似度を閾値処理により判定し、要素動作の連続回数が閾値以上となった場合に一動作を検出して、要素動作列を一動作に統合して分類した一動作列データを獲得する第4手段と
    を備え、その第4手段から得られる一動作列データに基づき一動作を解析することを特徴とする動作解析装置。
  5. 第2ステップにおいて、複数方向別ヒストグラムは正負の符号を持つ複数軸別のヒストグラムであって、近隣の時刻間での4軸のヒストグラム値の絶対値和を評価値とし、傾きが負から正に変化する点を分割点として検出することを特徴とする請求項1または請求項2に記載の動作解析方法。
  6. 第2手段において、複数方向別ヒストグラムは正負の符号を持つ複数軸別のヒストグラムであって、近隣の時刻間での4軸のヒストグラム値の絶対値和を評価値とし、傾きが負から正に変化する点を分割点として検出することを特徴とする請求項3または請求項4に記載の動作解析装置。
  7. 外部機器からの信号を検出して解析対象区間の指定や動画像データの分割を行うことを特徴とする請求項1または請求項2または請求項5に記載の動作解析方法。
  8. 外部機器からの信号を検出して解析対象区間の指定や動画像データの分割を行うことを特徴とする請求項3または請求項4または請求項6に記載の動作解析装置。
  9. 請求項3または請求項4または請求項6または請求項8に記載の動作解析装置と、その動作解析装置により動作解析対象の運動に対して得られる要素動作列データ及び一動作列データと、予め設定した標準の要素動作列データ及び一動作列データとを比較し、それらの間の類似度を閾値により動作を評価する評価手段を備えたことを特徴とする動作評価装置。
  10. 前記評価手段からの評価信号に基づく処理を行う処理手段を備えたことを特徴とする請求項9に記載の動作評価装置。
  11. 前記動作解析対象の運動は、作業者が行う繰り返し動作であることを特徴とする請求項9または請求項10に記載の動作評価装置。
JP2008044797A 2008-02-26 2008-02-26 動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置 Expired - Fee Related JP5149033B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008044797A JP5149033B2 (ja) 2008-02-26 2008-02-26 動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008044797A JP5149033B2 (ja) 2008-02-26 2008-02-26 動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置

Publications (2)

Publication Number Publication Date
JP2009205282A JP2009205282A (ja) 2009-09-10
JP5149033B2 true JP5149033B2 (ja) 2013-02-20

Family

ID=41147497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008044797A Expired - Fee Related JP5149033B2 (ja) 2008-02-26 2008-02-26 動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置

Country Status (1)

Country Link
JP (1) JP5149033B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5604256B2 (ja) * 2010-10-19 2014-10-08 日本放送協会 人物動作検出装置およびそのプログラム
JP2014506695A (ja) * 2011-01-30 2014-03-17 ミレイ,ラム スリカンス 技術評価
CN105009027B (zh) * 2012-12-03 2018-09-04 纳维森斯有限公司 用于估计对象的运动的系统和方法
KR101436369B1 (ko) 2013-06-25 2014-09-11 중앙대학교 산학협력단 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법
US10110858B2 (en) * 2015-02-06 2018-10-23 Conduent Business Services, Llc Computer-vision based process recognition of activity workflow of human performer
EP3651055A4 (en) 2017-08-01 2020-10-21 Huawei Technologies Co., Ltd. METHOD, APPARATUS AND DEVICE FOR GESTURE RECOGNITION
JP2021076888A (ja) * 2019-11-05 2021-05-20 株式会社日立製作所 作業認識装置
CN111783567B (zh) * 2020-06-16 2023-07-25 西安外事学院 一种基于极值标识的时间序列分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3648199B2 (ja) * 2001-12-27 2005-05-18 株式会社エヌ・ティ・ティ・データ カット検出装置およびそのプログラム
JP2006209468A (ja) * 2005-01-28 2006-08-10 Yakahi Kikuko 作業動作解析装置、作業動作解析方法および作業動作解析プログラム

Also Published As

Publication number Publication date
JP2009205282A (ja) 2009-09-10

Similar Documents

Publication Publication Date Title
JP5149033B2 (ja) 動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置
US20060029276A1 (en) Object image detecting apparatus, face image detecting program and face image detecting method
JP7072531B2 (ja) 異常検出装置および異常検出方法
CN112446363A (zh) 一种基于视频抽帧的图像拼接与去重方法及装置
US20080260206A1 (en) Image processing apparatus and computer program product
JP2020181532A (ja) 画像判定装置及び画像判定方法
WO2019187228A1 (ja) 品質監視システム
CN105809674A (zh) 一种基于机器视觉的模具保护装置及其方法
CN104867128A (zh) 图像模糊检测方法和装置
CN113639685A (zh) 位移检测方法、装置、设备和存储介质
JP2009032033A (ja) 動作境界検出方法および作業分析システム
CN104424633A (zh) 一种视频对比度异常检测方法及装置
CN104966283A (zh) 图像分层配准方法
CN117314890B (zh) 打扣加工的安全控制方法、装置、设备及存储介质
JP2023047003A (ja) 機械学習システム、学習データ収集方法及び学習データ収集プログラム
CN116078860A (zh) 一种冲压模具的拉延工序的监测方法、装置、电子设备
CN112136087B (zh) 作业分析装置
CN114846513A (zh) 动作分析系统和动作分析程序
CN112508925B (zh) 电子锁面板质量检测方法、系统、计算机装置和存储介质
US20220198802A1 (en) Computer-implemental process monitoring method, device, system and recording medium
JP6264008B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2020140365A (ja) 製品品質不良予測システム
JP2022135007A (ja) 作業適正判定装置
CN103630547B (zh) 具有周期性结构的光学薄膜的瑕疵检测方法及其检测装置
JP2009110239A (ja) 作業動作分析システム及び作業動作分析方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100326

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100329

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110119

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110119

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120321

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120327

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120807

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121129

R150 Certificate of patent or registration of utility model

Ref document number: 5149033

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees