JP6849312B2 - 作業動作認識システム - Google Patents

Description

本発明は，作業動作を認識する技術に関する。

組立加工の分野において，作業者は規定された標準動作に従って，製品の組立加工を行うことが求められる。標準動作は，製品の品質を保つために必要な動作として定義されているため，作業者が標準動作とは異なる動作（逸脱動作）を行った場合，そのときの作業対象となった製品には，品質に問題が発生する可能性が高くなる。そのため，各種センサを利用して取得した人の動き情報から，逸脱動作を自動的に検知する機能（逸脱動作検知機能）が必要とされる。逸脱動作検知機能によって逸脱動作が検知された場合，例えば，そのとき作業対象となった製品に再検査を実施したり，製品自体を廃棄したりといった方法で，品質を担保することができる。

人の動作を自動解析する方法として，特許文献１記載の発明には，動画像を利用した方法が開示されている。前記方法では，まず，動画像から特徴データを算出し，特徴データの時系列変化，すなわち動作の変化を見つけることで動画像を分割する。分割された動画像から時系列の特徴データ，あるいは時系列の特徴データを表す記号列を取得し，それらを用いて動作を解析する，という手法である。これは，複雑な動作を，より単純な動作へ分割することを意味しており，複雑な動作であっても解析可能となるという利点がある。

特許文献１では，「局所的な動き情報の統計量に基づき特徴データを算出し，当該データの時系列変化から動画像データを分割し，分割区間毎に時系列特徴データを算出する」という構成が開示されている。

特開２００９−２０５２８２

特許文献１記載の発明では，動作の変化を用いて動画を分割するが，作業開始と終了のタイミングと，動作の変化とが必ずしも同じタイミングとは限らないため，それらのタイミングを取得できないという課題がある。

上記課題を解決するため，本発明に係る作業動作解析システムは，センサと，センサが発報した時刻を特定する複数のタイムスタンプを含む装置情報を生成する装置情報生成部と，装置情報を解析装置に送信する送信部と，を備える生産装置と，装置情報を受信する受信部と，撮像装置から取得した解析用情報を一時蓄積する解析用情報バッファと，受信した装置情報に含まれる複数のタイムスタンプが示す時刻それぞれにおいて取得された解析用情報が解析用情報バッファに蓄積されるまで待機し，複数のタイムスタンプが示す時刻を用いて特定された葉にについて，解析用情報の解析を行う解析部と，を備える解析装置と，を備える。

作業開始，終了あるいはその両方のタイミングを生産装置から取得することで，作業中の時間帯のみ，あるいは少なくとも作業を含んだ時間帯を対象として解析を実施することが可能となる。

実施例１における作業動作認識システムの構成図である。 実施例１における生産装置の動作を表すフローチャートである。 実施例１における解析装置の動作を表すフローチャートである。 装置情報の構成要素を示した図である。 トリガ生成テーブルに保存されたデータの構成である。 トリガの構成要素を示した図である。 解析用情報バッファに保存されたデータの構成である。 カメラＩＤテーブルに保存されたデータの構成である。 解析用情報分割部の動作の，第１の例である。 解析用情報分割部の動作の，第２の例である。 解析用情報分割部の動作の，第３の例である。 動作モデル蓄積部に保存されたデータの構成である。 ログ蓄積部に保存されたデータの構成である。 表示部に表示される解析結果を通知するための画面例である。

以下，実施例を図面を用いて説明する。

図１は，作業動作認識システム全体像を示すシステム構成図である。作業動作システムは，１以上の生産装置１００および解析装置１０２から構成される。

生産装置１００は，装置情報送信部１１０と，装置情報生成部１１１と，１以上のセンサ１１２と，制御部１１３と，生産部１１４と，からなる。

解析装置１０２は，装置情報受信部１２０と，トリガ生成部１２１と，トリガ生成テーブル１２３と，トリガバッファ１３１と，解析用情報分割部１３２と，解析用情報バッファ１３３と，カメラＩＤテーブル１３４と，動作モデル選択部１３５と，動作モデル蓄積部１３６と，解析部１３７と，ログ蓄積部１３８と，表示部１３９からなる。解析用情報バッファ１３３にはカメラ１４０が１以上の台数が接続される。解析装置１０２には，個人認証装置１５０と，スケジューラ１５１が接続される。

生産装置１００の動作については図２で，解析装置１０２の動作については図３で，それぞれ後述する。

図２は，生産装置１００の動作を示すフローチャートである。このフローチャートを，図４を参照しながら説明する。

Ｓ２００は，装置情報生成部１１１が，センサ１１２からセンサＩＤを取得する処理である。センサＩＤは，センサ１１２を特定可能な情報である。この処理により,いずれのセンサが発報したかが判明する。センサ１１２は，例えば接触センサであり，作業者が生産装置から製品を取りだしたタイミング，あるいは製品を投入したタイミングを取得できる。前者は，作業者の作業開始タイミングを意味し，後者は，作業者の作業終了タイミングを意味する。

また，センサ１１２は，生産部１１４の起動スイッチであってもよい。その場合，起動スイッチとしてのセンサ１１２の発報を制御部１１３が受信し，生産部１１４を制御して生産に関する処理，例えば切削，かしめ，溶接，搬送などを行うこととなる。つまり，センサ１１２によって，作業者が生産装置に製品を投入し，生産装置を起動したタイミングを取得できる。これは，作業者の作業終了タイミングを意味する。

Ｓ２０１は，装置情報生成部１１１が，Ｓ２００で取得したセンサＩＤに，少なくとも生産装置を特定可能な生産装置ＩＤと，時刻を特定可能なタイムスタンプとを追加して，図４に示す装置情報４００を生成する処理である。タイムスタンプは，センサ１１２の発報を装置情報生成部１１１が検知したタイミングを表す。あるいは，センサ１１２が時刻同期可能な時計を備えていれば，Ｓ２００センサＩＤとセンサ１１２が発報したタイミングを受信しても良い。その場合は，Ｓ２０１においては，生産装置ＩＤを追加するだけで良い。

Ｓ２０２は，装置情報送信部１１０が，装置情報４００を解析装置１０２に送信する処理である。 図３は，解析装置１０２の動作を示すフローチャートである。このフローチャートを，図５〜図１４を参照しながら説明する。

Ｓ３００は，装置情報受信部１２０が，装置情報送信部１１０から装置情報４００を受け取る 処理である。
トリガ生成テーブル１２３に保存されているデータ５００は，図５に示すように，生産装置ＩＤと，センサＩＤと，作業ＩＤと，作業開始/終了フラグであり，それらが関連付けられている。

Ｓ３０１は，トリガ生成部１２１が，トリガ生成テーブル１２３を参照して，装置情報４００に含まれるセンサＩＤおよび生産装置ＩＤに対応する作業ＩＤおよび作業開始/終了フラグを読みだす処理である。この処理の結果，少なくともそれらの作業ＩＤおよび，作業開始/終了フラグと，装置情報に含まれるタイムスタンプから構成される，図６に示すトリガ６００が生成されることとなる。なお，以降，トリガ６００に含まれるタイムスタンプが示すタイミングを，簡単にトリガ６００が示すタイミングと呼ぶ。

作業開始/終了フラグは，トリガ６００が示すタイミングが，作業開始あるいは終了のどちらのタイミングを表すのかを示す。前者を開始トリガ，後者を終了トリガと呼ぶ。なお，開始トリガ，終了トリガが両方生成される作業工程(ペアトリガあり)，開始もしくは終了トリガのいずれかだけが生成される作業工程(ペアトリガなし)の２種類が想定されるため，作業開始/終了フラグは，ペアトリガあり/なしに関する情報も含む。

なお，生産装置ＩＤとセンサＩＤの組み合わせによっては，トリガ生成テーブル１２３に情報がない場合もある。この場合は，該当する作業が存在しないことを意味し，トリガ６００は生成しない。

Ｓ３１０は，トリガ６００をトリガバッファ１３１に一時保存する処理である。

Ｓ３１１は，カメラ１４０から読みだされた解析用情報を解析用バッファ１３３に一時蓄積する処理である。ここで保存される解析用情報は，動画像でも良いし，あるいは，動画像から抽出された人の姿勢を表す情報でも良い。さらに，人の姿勢情報は人の手，足，肩，頭といった部位の位置情報であっても良い。いずれの場合でも，図７に示すように，解析用情報バッファ１３３内のデータは，カメラＩＤごとの時系列の情報として保存されることとなる。

図７では，人の手，足，肩，頭といった部位の位置情報を，時系列情報として蓄積した場合の模擬図を，解析用情報の模擬図７０１として示す。

Ｓ３１２は，解析用情報分割部１３２が，トリガバッファ１３１に保存されたトリガ６００を読みだす処理である。読みだしたトリガが，ペアトリガありの場合は，ペアトリガが両方揃ってから読み込む。読みだしたトリガが，ペアトリガなしの場合は，そのまま読みこむ。

その後，解析用情報分割部１３２は，カメラＩＤテーブル１３４を参照して，トリガ６００に含まれる作業ＩＤから対応するカメラＩＤを取得する。

図８に示すように，カメラＩＤテーブル１３４内のデータ８００は，作業ＩＤとカメラＩＤとが，関連付けられたデータである。

Ｓ３１３は，解析用情報分割部１３２が，取得したカメラＩＤと，トリガに含まれるタイムスタンプに従い，解析用情報バッファ１３３から解析用情報を分割して読み込む処理である。以下，３パターンの分割処理につき，それぞれ図９〜図１１を用いて説明する。

１つ目のパターンは，ペアトリガありの場合である。この場合，解析用情報分割部１３２は，開始トリガおよび終了トリガの示すタイミングに従い，解析用情報バッファ１３３から，両者のタイミングに挟まれた範囲の解析用情報を分割し，読み込む。

図９で，１つ目のパターンについて説明する。すなわち，解析用情報の模擬図７０１において，開始トリガの示すタイミングの第１の例７０１と，終了トリガの示すタイミングの第１の例７０２に挟まれた範囲である分割対象の第１の例７００を，分割する様子を示している。

２つ目のパターンは，ペアトリガがない場合で，かつトリガが開始トリガであった場合である。この場合，開始トリガの示すタイミングと，開始トリガの示すタイミングに対して所定の時間後のタイミングに挟まれた範囲を分割して読み込む。

図１０で，２つ目のパターンについて説明する。すなわち，解析用情報の模擬図７０１において，開始トリガの示すタイミングの第２の例１００１と，開始トリガの示すタイミングの第２の例から所定の時間後のタイミング１００２に挟まれた範囲である，分割対象の第２の例１００２を，分割する様子を示す。ここで，所定の範囲は，該当作業工程の標準作業時間にマージンを加えた値とするとよい。

３つ目のパターンは，ペアトリガがない場合で，かつトリガが終了トリガであった場合である。この場合，終了トリガの示すタイミングと，終了トリガの示すタイミングに対して所定の時間前のタイミングに挟まれた範囲を分割して読み込む。

図１１で，３つ目のパターンについて説明する。すなわち，解析用情報の模擬図７０１において，終了トリガの示すタイミングの第２の例１１０１と，終了トリガの示すタイミングの第２の例から所定の時間前のタイミング１１０２に挟まれた範囲である，分割対象の第３の例１１００を，分割する様子を示す。ここで，所定の範囲は，該当作業工程の標準作業時間にマージンを加えた値とするとよい。

ただし，上記３パターンいずれの場合でも，解析用情報の蓄積が間に合っていなかった場合は，読み込むべき範囲の解析用情報が蓄積されるまで，待機する。

Ｓ３１４は，動作モデル選択部１３５が，トリガ６００が含む作業ＩＤに従い，動作モデル蓄積部１３６から作業ＩＤに対応する動作モデルを選択する処理である。あるいは，トリガの作業ＩＤと，個人認証装置１５０あるいはスケジューラ１５１から取得した該当作業を行っている人物を特定可能な個人ＩＤとから，それらに対応する動作モデルを選択しても良い。個人認証装置１５０は，作業ＩＤに対応した作業を実施している人物の個人ＩＤを，生体情報を用いた認識，あるいは該当人物が保持する認証用のデバイスを用いて，個人ＩＤを取得する。スケジューラ１５１は，各人物がいずれの作業工程にていつ作業を行うかの情報を持っており，トリガ６００に含まれる作業ＩＤおよびタイムスタンプによって，該当作業を行っている人物の個人ＩＤを特定することができる。

図１２に示すように，動作モデル蓄積部１３６に保存されているデータ１２００は，作業ＩＤと，個人ＩＤと，数値で表現された動作モデルとを関連付けたデータである。個人ＩＤを利用しない場合は，作業ＩＤ毎に，動作モデルが保存されている。
動作モデルは，人の動き情報を画像上の動きベクトルの時系列情報あるいはその代表値として表したものでも良いし，人の姿勢に関する時系列情報あるいはその代表値であっても良い。さらに，それらに関する確率分布として表現されていても良い。確率分布として表現する場合は，パラメトリックに表現する方法であるガウス分布あるいはガウス混合分布として表現する方法，ノンパラメトリックに表現する方法である頻度分布を用いた方法や，パルゼン窓を用いた方法を利用することができる。

Ｓ３１５は，解析部１３７が，ステップＳ３１３にて分割された解析用情報と，Ｓ３１４にて選択された動作モデルを用いて解析を行う処理である。具体的には，分割された解析用情報によって示される動作が，選択された動作モデルからどの程度逸脱しているかを表す逸脱度を算出し，それを解析結果として出力する。逸脱度の算出方法として，選択された動作モデルが時系列情報で表されていれば動的プログラミング法を用いることができるし，代表値で表されていればユークリッド距離を用いることができる。また，動作モデルが確率分布として表現されている場合，確率分布がガウス分布であればマハラノビス距離を用いることができ，他の確率分布として表現されていれば分割された解析用情報の発生しうる確率を計算することで逸脱度を計算することができる。動作モデルが隠れマルコフモデルで表されている場合であっても，分割された解析用情報の発生しうる確率を計算でき，逸脱度を計算することができる。

なお，解析結果は，複数の方法を用いて計算して得られた複数の値であっても良い。例えば，解析用情報のうち，全身，手，足，上半身，下半身といった，異なる人体の部位を選択的に利用して逸脱度を計算すれば，それぞれの部位に対応した解析結果を得られる。

Ｓ３１６は，このようにして得られた解析結果を，ログ蓄積部１３８に蓄積する処理である。図１３に示すように，ログ蓄積部に保存するデータ１３００は，タイムスタンプ，作業ＩＤ，個人ＩＤ，解析結果を関連付けたデータである。ここでタイムスタンプは，ステップＳ３１３で利用したトリガ６００に対応して保存する。作業開始トリガを利用していれば，そのタイムスタンプ（作業開始タイムスタンプ），作業終了トリガを利用していれば，そのタイムスタンプ（作業終了タイムスタンプ）を保存する。両方利用している場合は，両方保存する。

Ｓ３１７は，表示部１３９が，生産装置１００にタイムスタンプ，作業ＩＤ，個人ＩＤ，解析結果を表示する処理である。ここでタイムスタンプは，ステップＳ３１３で利用したトリガ６００に対応して保存する。作業開始トリガを利用していれば，そのタイムスタンプ（作業開始タイムスタンプ），作業終了トリガを利用していれば，そのタイムスタンプ（作業終了タイムスタンプ）を表示する。両方利用している場合は，両方表示する。

図１４は，表示画面１３９に表示する画面の例１４００を示す図である。いずれかの解析結果が，所定の閾値を超えていた場合には，図１３に示すように逸脱動作が発生したメッセージを表示し，さらに，解析結果が特定の人体の部位の解析用情報を用いて計算されたものであれば，図１３のようにその部位を同時に表示することで，よりわかりやすい表示となる。その後，表示画面１３９を見た作業員や監督員は，例えば該当逸脱動作発生時の製品を廃棄する，あるいは該当逸脱動作を行った作業員に対して適切な指導をする，といった対応が可能となる。

１００：生産装置 １０２：解析装置 １１０：装置情報送信部 １１１：装置情報生成部 １１２：センサ １１３：制御部 １１４：生産部 １２０：装置情報受信部 １２１：トリガ生成部 １２３：トリガ生成テーブル １３１：トリガバッファ １３２：解析用情報分割部 １３３：解析用情報バッファ １３４：カメラＩＤテーブル １３５：動作モデル選択部 １３６：動作モデル蓄積部 １３７：解析部 １３８：ログ蓄積部 １３９：表示部 １４０：カメラ １５０：個人認証装置 １５１：スケジューラ ４００：装置情報 ５００：トリガ生成テーブルに保存されているデータ ６００：トリガ ７００：解析用情報バッファ内のデータ ７０１：解析用情報の模擬図 ８００：カメラＩＤテーブル内のデータ ９００：分割対象の第１の例 ９０１：開始トリガの示すタイミングの第１の例 ９０２：終了トリガの示すタイミングの第１の例 １０００：分割対象の第２の例 １００１：開始トリガの示すタイミングの第２の例 １００２：開始トリガの示すタイミングの第２の例から所定の時間後のタイミング １１００：分割対象の第３の例 １１０１：終了トリガの示すタイミングの第２の例 １１０２：終了トリガの示すタイミングの第２の例から所定の時間前のタイミング １２００：動作モデル蓄積部に保存されているデータ １３００：ログ蓄積部に保存されているデータ １４００：表示装置に表示する画面の例

Claims (4)

1. 生産装置と解析装置とを備えた作業動作解析システムであって，
   前記生産装置は，センサと，前記センサが発報した時刻を特定する複数のタイムスタンプを含む装置情報を生成する装置情報生成部と，前記装置情報を前記解析装置に送信する送信部と，を備え，
   前記解析装置は，前記装置情報を受信する受信部と，撮像装置から取得した解析用情報を一時蓄積する解析用情報バッファと，解析部と，を備え，
   前記解析装置は、人の姿勢に関する時系列情報あるいはその代表値が確率分布として表現された動作モデルを，作業と，個人とに対応付けて保持し，
   前記解析部は，受信した装置情報に含まれる複数のタイムスタンプが示す時刻それぞれにおいて取得された解析用情報が前記解析用情報バッファに蓄積されるまで待機し，前記複数のタイムスタンプが示す時刻を用いて特定された範囲について，前記範囲の作業及び前記作業を行っている個人に対応付けられている前記動作モデルと、前記解析用情報のうちの異なる人体の部位を選択的に用いることで逸脱度を算出し、
   前記複数のタイムスタンプは，作業者の作業開始時点を示す第１のタイムスタンプと，作業者の作業終了時点を示す第２のタイムスタンプと，を含み，
   前記範囲は，前記第１のタイムスタンプと，前記第２のタイムスタンプと，により特定された範囲である，ことを特徴とする作業動作解析システム。
2. 請求項１に記載の作業動作解析システムにおいて，
   前記センサとして，接触センサと，起動スイッチと，を備え，
   前記第１のタイムスタンプは，前記接触センサが発報した時刻を特定するタイムスタンプであり，前記第２のタイムスタンプは，前記起動スイッチが発報した時刻を特定するタイムスタンプである，ことを特徴とする作業動作解析システム。
3. センサが発報した時刻を特定可能な複数のタイムスタンプを含む装置情報を生成する手順と，
   撮像装置から取得した解析用情報を解析用情報バッファに一時蓄積する手順と，
   人の姿勢に関する時系列情報あるいはその代表値が確率分布として表現された動作モデルを，作業と，個人とに対応付けて保持する手順と，
   前記複数のタイムスタンプが示す時刻それぞれにおいて取得された解析用情報が前記解析用情報バッファに蓄積されるまで待機する手順と，
   前記複数のタイムスタンプが示す時刻を用いて特定された範囲について，前記範囲の作業及び前記作業を行っている個人に対応付けられている前記動作モデルと、前記解析用情報のうちの異なる人体の部位を選択的に用いることで逸脱度を算出する手順と，を有し、
   前記複数のタイムスタンプは，作業者の作業開始時点を示す第１のタイムスタンプと，作業者の作業終了時点を示す第２のタイムスタンプと，を含み，
   前記範囲は，前記第１のタイムスタンプと，前記第２のタイムスタンプと，により特定された範囲である，ことを特徴とする作業動作解析方法。
4. 請求項３に記載の作業動作解析方法を計算機に実行させる作業動作解析プログラム。

Images