JP7423584B2 - 判別装置、判別方法およびプログラム - Google Patents

Description

本発明の実施形態は、判別装置、判別方法およびプログラムに関する。

工場等において、作業者の動作を認識する認識システムが知られている。この認識システムでは、作業者が装着したセンサ等から動作情報を取得し、予め学習された判別器（例えば、辞書データ等）を用いて、取得した動作情報から作業者の動作を認識する。これにより、認識システムは、作業者が正しい作業を行っているか等を管理者等に確認させることができる。

ところで、工場での作業者の作業は様々である。このため、認識システムは、共通の１つの判別器を用いて、全ての動作を判別することは困難であった。しかし、認識システムは、多数の判別器を並行に用いて認識処理をすることは効率が悪く、コストが高くなってしまっていた。

また、工場では、適宜生産改善が行われる。このため、認識システムは、常に、作業者の動作情報の収集、教師データの生成および学習処理等を行い、判別器を適切に更新しなければならない。しかし、複数の判別器を常時更新することは非常に効率が悪く、コストが高くなってしまっていた。

特開２００９－１２２３０２号公報

本発明が解決しようとする課題は、作業者の作業内容を表す作業種別を効率良く判別することにある。

実施形態に係る判別装置は、作業者の作業内容を表す作業種別を判別する。前記判別装置は、位置特定部と、領域特定部と、選択部と、動作情報生成部と、判別処理部と、表示制御部と、入力受付部と、学習部と、を備える。前記位置特定部は、作業者位置を特定する。前記領域特定部は、前記作業者の作業内容を判別する対象範囲に対して前記作業者が同一の作業を行うと予測される予め設定された複数の部分領域のうち、前記作業者位置を含む作業領域を特定する。前記選択部は、人間の動作を表す動作情報から人間の作業内容を判別するための複数の判別器のうち、前記作業領域に対応付けられた２以上の判別器を、２以上の対象判別器として選択する。前記動作情報生成部は、前記作業者の動作を表す作業者動作情報を生成する。前記判別処理部は、選択された前記２以上の対象判別器を用いて、前記作業者動作情報に基づき、前記作業者の作業内容の候補である複数の候補種別と、前記複数の候補種別のそれぞれの信頼度とを算出し、前記複数の候補種別のうちの前記信頼度が最も高い１つの候補種別を前記作業種別として出力し、前記複数の候補種別のうちの前記作業種別以外の少なくとも１つの候補種別を第１候補種別として出力する。前記表示制御部は、出力された前記作業種別と、少なくとも１つの前記第１候補種別とを、同時に表示装置に表示させる。前記入力受付部は、前記作業種別が誤っていた場合、前記少なくとも１つの前記第１候補種別の中から正しい作業種別をユーザから受け付ける。前記学習部は、前記正しい作業種別を前記ユーザから受け付けた場合、前記作業領域に対応付けられた前記２以上の対象判別器のうちの少なくとも１つの対象判別器を、前記作業者動作情報および前記正しい作業種別を用いて訓練する。

認識システムを示す図。 複数の部分領域の第１例を示す図。 複数の部分領域の第２例を示す図。 第１実施形態に係る判別装置の構成を示す図。 第１実施形態に係る判別装置の処理の流れを示すフローチャート。 第２実施形態に係る判別装置の構成を示す図である。 第２実施形態に係る判別装置の処理の流れを示すフローチャート。 第２実施形態に係る判別装置により表示される画像の第１例を示す図。 第２実施形態に係る判別装置により表示される画像の第２例を示す図。 第３実施形態に係る判別装置の構成を示す図。 部分領域の統合例を示す図。 第４実施形態に係る判別装置の構成を示す図。 第４実施形態に係る判別装置の処理の流れを示すフローチャート。 第４実施形態に係る判別装置により表示される画像の一例を示す図。 判別装置のハードウェア構成を示す図。

以下に添付図面を参照して、本発明の実施形態を説明する。

（第１実施形態）
図１は、実施形態に係る認識システム１０を示す図である。

認識システム１０は、例えば工場の製造ライン２０における、作業者の作業内容を判別する。認識システム１０は、少なくとも１つの位置センサ２２と、少なくとも１つの動作センサ２４と、判別装置３０とを備える。

少なくとも１つの位置センサ２２のそれぞれは、作業者位置を示す位置情報を検出する。位置センサ２２は、例えば、対象範囲３６内での作業者位置を検出する。対象範囲３６は、認識システム１０により作業者の作業内容を判別する範囲である。工場における作業者の作業内容を判別する場合には、対象範囲３６は、例えば、工場の建屋内の部屋または工場の敷地等である。

位置センサ２２は、作業者位置を検出することができれば、どのような装置であってもよい。例えば、位置センサ２２は、作業者を撮像して撮像画像から、作業者の位置情報を検出するカメラであってもよい。

また、例えば、位置センサ２２は、作業者により装着される無線受信端末（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）端末）であってもよい。この場合、無線受信端末は、複数の位置に配置された複数の無線送信端末のそれぞれから送信された複数のビーコンを受信する。無線受信端末は、複数のビーコンのそれぞれの受信強度から、それぞれの無線送信端末までの距離を推定する。そして、無線受信端末は、推定した距離および複数の無線送信端末の位置に基づき、作業者位置を算出する。

また、作業者が屋外にいる場合、受信端末は、複数のＧＰＳ（全地球測位システム）衛星から送信された複数の信号を受信し、受信した複数の信号から作業者位置を算出してもよい。また、例えば、位置センサ２２は、作業者に装着された加速度センサ等から、作業者の移動距離を算出する装置であってもよい。

少なくとも１つの動作センサ２４のそれぞれは、作業者の動作を表す動作情報を検出する。動作センサ２４は、作業者の体の全体の動きを検出してもよい。また、動作センサ２４は、作業者の腕、手、指、足、頭、関節または目等の各部位の個別の動きを検出してもよい。また、動作センサ２４は、作業者の腰に取り付けられた加速度センサおよびジャイロセンサであって、作業者が静止しているか、歩行しているか等を検出してもよい。例えば、動作センサ２４は、作業者の腕、足および頭等に取り付けられた加速度センサおよびジャイロセンサであって、腕、足または頭等の個別の動きを検出してもよい。また、例えば、動作センサ２４は、作業者を撮像するカメラおよび撮像画像に基づき作業者の動作を解析する情報処理装置であってもよい。

判別装置３０は、例えば汎用のコンピュータと同様のハードウェアを有し、所定のアプリケーションプログラムを実行する。判別装置３０は、少なくとも１つの位置センサ２２のそれぞれから位置情報を受信する。また、判別装置３０は、少なくとも１つの動作センサ２４のそれぞれから動作情報を受信する。判別装置３０は、一定期間毎（例えば、５秒毎）、位置情報および動作情報を受信する。そして、判別装置３０は、受信した位置情報および動作情報に基づき、作業者の作業内容を表す作業種別を判別する。

なお、判別装置３０は、複数の作業者が存在する場合には、作業者毎に位置情報および動作情報を受信する。そして、判別装置３０は、作業者毎に、作業内容を表す作業種別を判別する。

図２は、対象範囲３６に対して設定された複数の部分領域３８の第１例を示す図である。図３は、対象範囲３６に対して設定された複数の部分領域３８の第２例を示す図である。

判別装置３０には、複数の部分領域３８を示す情報が登録されている。部分領域３８は、作業者がその中で同一の作業を行うと予測される、対象範囲３６内における一部の領域である。複数の部分領域３８は、例えば管理者により定められる。

工場では、対象範囲３６内に製造装置および搬送装置等を含む製造ライン２０が設けられる。そして、工場では、製造ライン２０における製造装置および搬送装置の位置に応じて、作業者が行う作業の内容が定められている。従って、管理者は、製造ライン２０における製造装置および搬送装置の位置等に基づき、同一の作業を行うと予測される部分領域３８を予め設定することができる。

また、複数の部分領域３８は、認識システム１０によりどのような作業種別を判別したいかによっても調整される。例えば、作業者の移動が多く、大まかな作業者の動作を判別したい場合、部分領域３８は、図２に示すように比較的に大きな範囲に設定される。一方、手元の作業が多く、例えば製造機器毎に作業者の動作を判別したい場合、部分領域３８は、図３に示すように製造機器付近の比較的に小さな範囲に設定される。

図４は、第１実施形態に係る判別装置３０の構成を示す図である。判別装置３０は、領域受付部４０と、領域情報記憶部４２と、位置特定部４４と、領域特定部４６と、判別器記憶部４８と、選択部５０と、動作情報生成部５２と、判別処理部５４とを有する。

領域受付部４０は、管理者の指示等に応じて、複数の部分領域３８を示す情報を受け付ける。例えば、領域受付部４０は、対象範囲３６を示す画像を表示装置に表示させて、管理者による複数の部分領域３８の指定を受け付ける。領域情報記憶部４２は、領域受付部４０が受け付けた複数の部分領域３８を示す情報を記憶する。

位置特定部４４は、少なくとも１つの位置センサ２２のそれぞれから位置情報を受信する。位置特定部４４は、受信した位置情報に基づき、対象範囲３６内における作業者位置を特定する。位置特定部４４は、特定した作業者位置を領域特定部４６に与える。

領域特定部４６は、領域情報記憶部４２に記憶された情報を参照して、複数の部分領域３８のうち、位置特定部４４により特定された作業者位置を含む１つの部分領域３８を、作業領域として特定する。領域特定部４６は、特定した作業領域を示す情報を選択部５０に与える。

判別器記憶部４８は、複数の判別器を記憶する。複数の判別器のそれぞれは、人間の動作を表す所定のフォーマットの動作情報から人間の作業内容を判別するために用いられる情報である。複数の判別器のそれぞれは、例えば互いに異なる作業種別を判別する。

例えば、判別器は、サポートベクトルマシン等のパターン認識モデルである。この場合、判別器は、予め教師データとなる動作情報に対して所定の判別結果が得られるように訓練がされている。判別器は、動作情報から作業種別を判別するために用いられる情報およびモデル等であれば、サポートベクトルマシンに限らず、ランダムフォレスト、多層パーセプトロンおよびニューラルネットワーク等であってもよい。

また、複数の部分領域３８のそれぞれは、少なくとも１つの判別器が対応付けられている。１つの部分領域３８に対して、１つの判別器が対応付けられていてもよいし、複数の判別器が対応付けられていてもよい。

例えば、本実施形態においては、下記の表１に示すように、複数の部分領域３８のそれぞれには、少なくとも１つの作業者の種別が対応付けられている。そして、それぞれの種別には、１つの判別器が対応付けられている。

例えば、表１では、部分領域３８－Ａに“部品補充”という種別が対応付けられており、部分領域３８－Ｂに“機器操作”および“メモ書き”という種別が対応付けられており、部分領域３８－Ｃに“台車移動”および“ＰＣ入力”という種別が対応付けられている。また、表１では、“部品補充”には第１判別器が対応付けられており、“機器操作”には第２判別器が対応付けられており、“メモ書き”には第３判別器が対応付けられており、“台車移動”には第４判別器が対応付けられており、“ＰＣ入力”には第５判別器が対応付けられている。

なお、判別器記憶部４８は、判別装置３０に備えられるのではなく、他のサーバに備えられていてもよい。この場合、判別装置３０は、ネットワークを介してサーバにアクセスして、複数の判別器を取得する。

選択部５０は、判別器記憶部４８に記憶された複数の判別器のうち、特定された作業領域に対応付けられた少なくとも１つの判別器を選択する。例えば、表１の例であれば、選択部５０は、部分領域３８－Ａが作業領域として特定された場合、第１判別器を選択する。また、部分領域３８－Ｂが作業領域として特定された場合、選択部５０は、第２判別器および第３判別器を選択する。また、部分領域３８－Ｃが作業領域として特定された場合、選択部５０は、第４判別器および第５判別器を選択する。選択部５０は、選択した判別器を示す情報を判別処理部５４に与える。

動作情報生成部５２は、少なくとも１つの動作センサ２４のそれぞれから作業者の動作を表す動作情報を受信する。動作情報生成部５２は、受信した動作情報に基づき、作業者の動作を表す作業者動作情報を生成する。例えば、動作情報生成部５２は、複数の動作センサ２４から取得した複数の動作情報を組み合わせて、所定のフォーマットの作業者動作情報を生成する。動作情報生成部５２は、生成した作業者動作情報を判別処理部５４に与える。

判別処理部５４は、選択部５０により選択された少なくとも１つの判別器を用いて、動作情報生成部５２により生成された作業者動作情報に基づき、作業者の作業内容を表す作業種別を判別する。

例えば、判別処理部５４は、作業者が、部品補充作業をしているか、機器操作作業をしているか、メモ書き作業をしているか、台車移動作業をしているか、または、ＰＣ入力作業をしているか等を判別する。また、判別処理部５４は、作業種別毎に、その作業をしている信頼度を生成してもよい。この場合、判別処理部５４は、作業種別の候補である候補種別と、信頼度との組を出力する。また、判別処理部５４は、複数の判別器を用いて作業種別を判別した場合には、信頼度が最も高い候補種別を、作業種別として出力する。

また、判別装置３０は、所定時間毎（例えば、１分毎）に、作業種別を判別してもよい。また、判別装置３０は、複数の作業者についての位置情報および動作情報を受信してもよい。この場合、判別装置３０は、作業者毎に、作業種別を判別する。

図５は、第１実施形態に係る判別装置３０の処理の流れを示すフローチャートである。第１実施形態に係る判別装置３０は、図５に示す流れで処理を実行する。

まず、Ｓ１１において、判別装置３０は、位置センサ２２から位置情報を受信し、受信した位置情報に基づき作業者位置を特定する。続いて、Ｓ１２において、判別装置３０は、動作センサ２４から作業者の動作を表す動作情報を受信し、受信した動作情報に基づき作業者動作情報を生成する。

続いて、Ｓ１３において、判別装置３０は、複数の部分領域３８のうち、特定された作業者位置を含む１つの部分領域３８を作業領域として特定する。続いて、Ｓ１４において、判別装置３０は、判別器記憶部４８に記憶された複数の判別器のうち、特定された作業領域に対応付けられた少なくとも１つの判別器を選択する。そして、Ｓ１５において、判別装置３０は、選択された少なくとも１つの判別器を用いて、生成した作業者動作情報に基づき、作業者の作業内容を表す作業種別を判別する。

以上のような第１実施形態に係る判別装置３０は、作業者位置に応じて適切な判別器を選択し、選択した適切な判別器により作業者の作業内容を表す作業種別を判別する。これにより、判別装置３０によれば、効率良く且つ精度良く作業種別を判別することができる。

（第２実施形態）
つぎに、第２実施形態に係る判別装置３０について説明する。第２実施形態に係る判別装置３０は、第１実施形態と同一の認識システム１０に適用される。また、第３実施形態以降も同様である。また、第２実施形態に係る判別装置３０は、第１実施形態と略同一の構成および機能を有するので、共通の要素には同一の符号を付けて、相違点を除き詳細な説明を省略する。

図６は、第２実施形態に係る判別装置３０の構成を示す図である。第２実施形態に係る判別装置３０は、結果記憶部５６と、表示制御部５８とをさらに有する。

結果記憶部５６は、所定時間毎（例えば１分毎）に特定された作業領域および作業種別を、動作時刻に対応させて記憶する。表示制御部５８は、判別処理部５４が判別した作業種別を表示装置に表示させる。表示制御部５８は、現在の作業種別を表示装置に表示させる。また、表示制御部５８は、管理者により指定された過去の時刻における作業種別を結果記憶部５６から読み出し、読み出した作業種別を表示装置に表示させてもよい。

図７は、第２実施形態に係る判別装置３０の処理の流れを示すフローチャートである。第２実施形態に係る判別装置３０は、図７に示す流れで処理を実行する。

第２実施形態に係る判別装置３０は、Ｓ１１からＳ１５まで、図５のフローチャートで示した処理と同一の処理を実行する。Ｓ１５に続いて、Ｓ１６において、判別装置３０は、判別した作業種別を表示装置に表示させる。

図８は、第２実施形態に係る判別装置３０により表示される画像の第１例を示す図である。表示制御部５８は、対象範囲３６を表す対象範囲画像６０を表示装置に表示させる。例えば、対象範囲画像６０は、製造装置が配置されている位置に製造装置画像６４を含む。また、例えば、対象範囲画像６０は、搬送装置が配置されている位置に搬送装置画像６６を含む。

また、表示制御部５８は、作業者位置を示す作業者マーク６２を、対象範囲画像６０における対応する位置上に表示させる。これにより、表示制御部５８は、作業者位置を管理者に容易に確認させることができる。

また、表示制御部５８は、部分領域３８の範囲を表す部分領域画像７０を、対象範囲画像６０における対応する位置上に表示させる。これにより、表示制御部５８は、部分領域３８の範囲を、管理者に容易に確認させることができる。

また、表示制御部５８は、判別した作業種別を表す判別結果画像７２を表示させる。例えば、表示制御部５８は、対象範囲画像６０における作業者に対応する位置に判別結果画像７２を表示させる。図８の例においては、表示制御部５８は、作業者マーク６２から吹き出す吹出画像を、判別結果画像７２として表示装置に表示させる。これにより、表示制御部５８は、作業者の作業内容を管理者に容易に確認させることができる。

また、複数の候補種別を判別した場合には、表示制御部５８は、信頼度が高い順に複数の候補種別を並べた候補画像７４を表示装置に表示させてもよい。これにより、表示制御部５８は、判別装置３０による判別内容を管理者に確認させることができる。

図９は、第２実施形態に係る判別装置３０により表示される画像の第２例を示す図である。表示制御部５８は、対象範囲画像６０、作業者マーク６２、判別結果画像７２および複数の部分領域画像７０を表示装置に表示させる。

この場合において、表示制御部５８は、複数の部分領域３８のそれぞれ毎に、所定作業期間（例えば、１日）において作業者が作業をした合計の作業時間を算出する。そして、表示制御部５８は、算出した合計の作業時間をさらに表す部分領域画像７０を表示装置に表示させる。

例えば、表示制御部５８は、合計の作業時間の長さに応じて色または濃さが変化する部分領域画像７０を表示させる。例えば、表示制御部５８は、その部分領域３８での合計の作業時間が長い程、色またはハッチングが濃くなる部分領域画像７０を表示させてもよい。

表示制御部５８は、何れかの部分領域３８内での作業者の平均位置を算出し、算出した平均位置に作業者マーク６２を表示させてもよい。また、表示制御部５８は、何れかの部分領域３８内での作業種別を示す判別結果画像７２を表示させてもよい。

これにより、表示制御部５８は、判別結果を統計処理した結果を管理者に確認させることができる。このように第２実施形態に係る判別装置３０は、複数の観点から判別結果を分析して、管理者に提供することができる。

（第３実施形態）
つぎに、第３実施形態に係る判別装置３０について説明する。第３実施形態に係る判別装置３０は、第２実施形態と略同一の構成および機能を有するので、共通の要素には同一の符号を付けて、相違点を除き詳細な説明を省略する。

図１０は、第３実施形態に係る判別装置３０の構成を示す図である。第３実施形態に係る判別装置３０は、領域再構築部８０をさらに有する。

領域再構築部８０は、所定作業期間（例えば、１日または１週間等）おいて、隣接する２つの部分領域３８における作業種別の統計を取る。さらに、領域再構築部８０は、所定作業期間において、隣接する２つの部分領域３８における作業種別の一致割合が予め定められた値以上であるか否かを判断する。そして、領域再構築部８０は、所定作業期間において隣接する２つの部分領域３８における作業種別の一致割合が予め定められた値以上である場合、その２つの部分領域３８を統合して１つの部分領域３８とするように、領域情報記憶部４２に記憶された複数の部分領域３８を再構築する。さらに、領域再構築部８０は、複数の部分領域３８を再構築した場合、部分領域３８と判定器との対応関係も更新する。

図１１は、部分領域３８の統合例を示す図である。例えば、図１１の上側に示すように、初期設定時において、対象範囲３６内に、Ａ－１、Ａ－２、Ａ－３、Ｂ－１およびＢ－２の５個の部分領域３８が設定されていたとする。初期設定から所定作業期間、作業者の作業内容を解析した結果、Ａ－１、Ａ－２およびＡ－３の隣接する３個の部分領域３８における作業種別の一致割合が予め定められた値以上であった。また、Ｂ－１およびＢ－２の隣接する２個の部分領域３８における作業種別の一致割合が予め定められた値以上であった。

このような場合、領域再構築部８０は、図１１の下側に示すように、Ａ－１、Ａ－２およびＡ－３を統合して、１個の部分領域３８（Ａ）を生成する。また、領域再構築部８０は、Ｂ－１およびＢ－２を統合して１個の部分領域３８（Ｂ）を生成する。これにより、判別装置３０は、近似した複数の部分領域３８を統合して、効率良く作業領域を特定することができる。

また、複数の部分領域３８のそれぞれを表す複数の部分領域画像７０を、表示装置に表示させる場合、表示制御部５８は、複数の部分領域３８を統合して表示してもよい。具体的には、表示制御部５８は、所定作業期間において、隣接する２つの部分領域３８における作業種別の一致割合が予め定められた値以上である場合、その２つの部分領域３８を統合して１つの部分領域３８として表示する。これにより、判別装置３０は、近似した複数の部分領域３８を統合して、管理者にわかりやすく作業領域を確認させることができる。

（第４実施形態）
つぎに、第４実施形態に係る判別装置３０について説明する。第４実施形態に係る判別装置３０は、第２実施形態と略同一の構成および機能を有するので、共通の要素には同一の符号を付けて、相違点を除き詳細な説明を省略する。

図１２は、第４実施形態に係る判別装置３０の構成を示す図である。第４実施形態に係る判別装置３０は、動作記憶部８２と、入力受付部８４と、学習部８６とをさらに有する。

動作記憶部８２は、動作情報生成部５２により生成された作業者動作情報、および、判別処理部５４により判別された作業種別を対応付けて記憶する。さらに、動作記憶部８２は、領域特定部４６により特定された作業領域を、作業種別に対応付けて記憶する。

入力受付部８４は、提示された作業種別が誤っていた場合、管理者から正しい作業種別を受け付ける。正しい作業種別を受け付けた場合、表示制御部５８は、表示装置に正しい作業種別を表示させる。また、正しい作業種別を受け付けた場合、結果記憶部５６は、誤った作業種別に代えて、正しい作業種別を記憶する。

学習部８６は、管理者から正しい作業種別を受け付けた場合、動作記憶部８２により記憶された作業者動作情報および正しい作業種別に基づき、判別器記憶部４８に記憶された複数の判別器を訓練する。この場合、学習部８６は、判別器記憶部４８に記憶された複数の判別器の全てを訓練するのではなく、特定された作業領域に対応付けられた判別器を訓練してもよい。これにより、学習部８６は、誤った判別をした判別器を訓練することができる。

図１３は、第４実施形態に係る判別装置３０の処理の流れを示すフローチャートである。第４実施形態に係る判別装置３０は、図１３に示す流れで処理を実行する。

第４実施形態に係る判別装置３０は、Ｓ１１からＳ１３まで、図７に示す第２実施形態と同一の処理を実行する。Ｓ１３に続いて、Ｓ２１において、判別装置３０は、生成した作業者動作情報および特定した作業領域を記憶する。Ｓ２１に続いて、判別装置３０は、Ｓ１４からＳ１６まで、図７に示す第２実施形態と同一の処理を実行する。

Ｓ１６に続いて、Ｓ２２において、判別装置３０は、管理者から正しい作業種別を受け付けたか否かを判断する。管理者から正しい作業種別を受け付けてない場合、すなわち、判別処理での判別結果が正しい場合（Ｓ２２のＮｏ）、判別装置３０は、本フローを終了する。

管理者から正しい作業種別を受け付けた場合、すなわち、判別処理での判別結果が誤っていた場合（Ｓ２２のＹｅｓ）、判別装置３０は、処理をＳ２３に進める。Ｓ２３において、判別装置３０は、表示装置に正しい作業種別を表示させ、結果記憶部５６に対して誤った作業種別に代えて正しい作業種別を記憶させる。続いて、Ｓ２４において、判別装置３０は、動作記憶部８２により記憶された作業者動作情報および正しい作業種別に基づき、特定された作業領域に対応付けられた判別器を訓練する。続いて、Ｓ２５において、判別装置３０は、訓練結果に基づき判別器を更新する。そして、Ｓ２５の処理を終えた場合、判別装置３０は、本フローを終了する。

図１４は、第４実施形態に係る判別装置３０により表示される画像の一例を示す図である。第４実施形態に係る表示制御部５８は、対象範囲画像６０、作業者マーク６２および複数の部分領域画像７０を表示装置に表示させる。

さらに、表示制御部５８は、判別された作業種別、および、作業種別の候補である少なくとも１つの候補種別を含む種別画像９０を、表示装置に表示させる。管理者は、種別画像９０に含まれる作業種別が誤っていた場合、少なくとも１つの候補種別のうちの１つを、正しい作業種別として選択する。

正しい作業種別が選択された場合、表示制御部５８は、表示装置に正しい作業種別を表示させる。そして、結果記憶部５６は、誤った作業種別に代えて、正しい作業種別を記憶する。さらに、学習部８６は、正しい作業種別に基づき、判別器を訓練する。このように、第３実施形態に係る判別装置３０は、判別結果の修正および判別器の学習を適切に実行することができる。

（ハードウェア構成）
図１５は、判別装置３０のハードウェア構成を示す図である。判別装置３０は、一例として、一般のコンピュータ（情報処理装置）と同様のハードウェア構成により実現される。判別装置３０は、所定プログラムを実行することにより機能することができる。

判別装置３０は、ＣＰＵ（Central Processing Unit）２０２と、ＲＯＭ（Read Only Memory）２０４と、ＲＡＭ（Random Access Memory）２０６と、操作部２０８と、表示部２１０、通信装置２１２と、記憶装置２１４とを備える。各部は、バスにより接続される。

ＣＰＵ２０２は、情報処理を実行するプロセッサであって、記憶装置２１４に記憶されたプログラムをＲＡＭ２０６に展開して実行し、各部を制御して入出力を行ったり、データの加工を行ったりする。ＣＰＵ２０２は、１または複数のプロセッサにより構成されていてもよい。また、判別装置３０は、プログラムを実行することが可能であれば、ＣＰＵ２０２に限らず他のプロセッサを備えてもよい。ＲＯＭ２０４には、起動用プログラムを記憶装置２１４からＲＡＭ２０６に読み出すスタートプログラムが記憶されている。ＲＡＭ２０６は、ＣＰＵ２０２の作業領域としてデータを記憶する。

操作部２０８は、マウスまたはキーボード等の入力デバイスであって、ユーザから操作入力された情報を指示信号として受け付け、その指示信号をＣＰＵ２０２に出力する。表示部２１０は、例えばＬＣＤ（Liquid Crystal Display）等の表示装置である。表示部２１０は、ＣＰＵ２０２からの表示信号に基づいて、各種情報を表示する。通信装置２１２は、ネットワーク等を介して、外部機器と情報をやり取りする。記憶装置２１４は、例えば、ハードディスクドライブまたはフラッシュメモリ等である。記憶装置２１４は、判別装置３０で実行されるプログラム、および、オペレーティングシステムを記憶している。

本実施形態の判別装置３０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、本実施形態の判別装置３０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の判別装置３０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施形態のプログラムを、ＲＯＭ２０４等に予め組み込んで提供するように構成してもよい。

情報処理装置を判別装置３０として機能させるためのプログラムは、領域受付モジュールと、位置特定モジュールと、領域特定モジュールと、選択モジュールと、動作情報生成モジュールと、判別処理モジュールとを有する。判別装置３０は、プロセッサ（ＣＰＵ２０２）が記憶媒体（記憶装置２１４等）からプログラムを読み出して実行することにより各モジュールが主記憶装置（ＲＡＭ２０６）上にロードされ、プロセッサ（ＣＰＵ２０２）が、領域受付部４０、位置特定部４４、領域特定部４６、選択部５０、動作情報生成部５２および判別処理部５４として機能する。なお、これらの一部または全部がプロセッサ以外のハードウェアにより実現されてもよい。また、記憶装置２１４は、領域情報記憶部４２および判別器記憶部４８として機能する。なお、領域情報記憶部４２および判別器記憶部４８は、判別装置３０の外部のサーバ等により実現されてもよい。この場合、判別装置３０は、通信装置２１２を介して領域情報記憶部４２および判別器記憶部４８にアクセスする。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 認識システム
２０ 製造ライン
２２ 位置センサ
２４ 動作センサ
３０ 判別装置
３６ 対象範囲
３８ 部分領域
４０ 領域受付部
４２ 領域情報記憶部
４４ 位置特定部
４６ 領域特定部
４８ 判別器記憶部
５０ 選択部
５２ 動作情報生成部
５４ 判別処理部
５６ 結果記憶部
５８ 表示制御部
６０ 対象範囲画像
６２ 作業者マーク
６４ 製造装置画像
６６ 搬送装置画像
７０ 部分領域画像
７２ 判別結果画像
７４ 候補画像
８０ 領域再構築部
８２ 動作記憶部
８４ 入力受付部
８６ 学習部
９０ 種別画像

Claims (9)

1. 作業者の作業内容を表す作業種別を判別する判別装置であって、
   作業者位置を特定する位置特定部と、
   前記作業者の作業内容を判別する対象範囲に対して前記作業者が同一の作業を行うと予測される予め設定された複数の部分領域のうち、前記作業者位置を含む作業領域を特定する領域特定部と、
   人間の動作を表す動作情報から人間の作業内容を判別するための複数の判別器のうち、前記作業領域に対応付けられた２以上の判別器を、２以上の対象判別器として選択する選択部と、
   作業者の動作を表す作業者動作情報を生成する動作情報生成部と、
   選択された前記２以上の対象判別器を用いて、前記作業者動作情報に基づき、前記作業者の作業内容の候補である複数の候補種別と、前記複数の候補種別のそれぞれの信頼度とを算出し、前記複数の候補種別のうちの前記信頼度が最も高い１つの候補種別を前記作業種別として出力し、前記複数の候補種別のうちの前記作業種別以外の少なくとも１つの候補種別を第１候補種別として出力する判別処理部と、
   出力された前記作業種別と、少なくとも１つの前記第１候補種別とを、同時に表示装置に表示させる表示制御部と、
   前記作業種別が誤っていた場合、前記少なくとも１つの前記第１候補種別の中から正しい作業種別をユーザから受け付ける入力受付部と、
   前記正しい作業種別を前記ユーザから受け付けた場合、前記作業領域に対応付けられた前記２以上の対象判別器のうちの少なくとも１つの対象判別器を、前記作業者動作情報および前記正しい作業種別を用いて訓練する学習部と、
   を備える判別装置。
2. 前記判別装置は、製造装置を含む製造ラインが設けられる工場における前記作業者の作業内容を判別し、
   前記表示制御部は、前記作業種別を表す判別結果画像、前記対象範囲を表す対象範囲画像、前記複数の部分領域のそれぞれを表す複数の部分領域画像、前記作業者位置を表す作業者マーク、および、前記製造装置が配置されている位置を表す製造装置画像を表示装置に表示させる
   請求項１に記載の判別装置。
3. 前記表示制御部は、前記少なくとも１つの前記第１候補種別を前記信頼度の高い順に並べて前記表示装置に表示させる
   請求項１または２に記載の判別装置。
4. 所定時間毎に、
   前記位置特定部は、前記作業者位置を特定し、
   前記領域特定部は、前記作業領域を特定し、
   前記選択部は、前記２以上の対象判別器を選択し、
   前記動作情報生成部は、前記作業者動作情報を生成し、
   前記判別処理部は、前記作業種別および前記第１候補種別を出力する
   請求項１から３の何れか１項に記載の判別装置。
5. 所定時間毎に出力された前記作業種別、および、前記所定時間毎に特定された前記作業領域を、前記作業者が動作した時刻に対応させて記憶する結果記憶部をさらに備える
   請求項２に記載の判別装置。
6. 前記表示制御部は、前記複数の部分領域のそれぞれ毎に、所定作業期間において前記作業者が作業をした作業時間を算出し、算出した作業時間をさらに表す前記複数の部分領域画像を表示させる
   請求項５に記載の判別装置。
7. 所定作業期間において、前記複数の部分領域のうち隣接する２つの部分領域における前記作業種別の一致割合が予め定められた値以上である場合、前記２つの部分領域を統合して１つの部分領域とするように、前記複数の部分領域を再構築する領域再構築部を
   さらに備える請求項１から６の何れか１項に記載の判別装置。
8. 作業者の作業内容を表す作業種別を情報処理装置により判別する判別方法であって、
   前記情報処理装置が、作業者位置を特定し、
   前記情報処理装置が、前記作業者の作業内容を判別する対象範囲に対して、前記作業者が同一の作業を行うと予測される予め設定された複数の部分領域のうち前記作業者位置を含む作業領域を特定し、
   前記情報処理装置が、人間の動作を表す動作情報から人間の作業内容を判別するための複数の判別器のうち、前記作業領域に対応付けられた２以上の判別器を、２以上の対象判別器として選択し、
   前記情報処理装置が、前記作業者の動作を表す作業者動作情報を生成し、
   前記情報処理装置が、選択された前記２以上の対象判別器を用いて、前記作業者動作情報に基づき、前記作業者の作業内容の候補である複数の候補種別と、前記複数の候補種別のそれぞれの信頼度とを算出し、前記複数の候補種別のうちの前記信頼度が最も高い１つの候補種別を前記作業種別として出力し、前記複数の候補種別のうちの前記作業種別以外の少なくとも１つの候補種別を第１候補種別として出力し、
   前記情報処理装置が、出力された前記作業種別と、少なくとも１つの前記第１候補種別とを、同時に表示装置に表示させ、
   前記情報処理装置が、前記作業種別が誤っていた場合、少なくとも１つの前記第１候補種別の中から正しい作業種別をユーザから受け付け、
   前記情報処理装置が、前記正しい作業種別を前記ユーザから受け付けた場合、前記作業領域に対応付けられた前記２以上の対象判別器のうちの少なくとも１つの対象判別器を、前記作業者動作情報および前記正しい作業種別を用いて訓練する
   判別方法。
9. 作業者の作業内容を表す作業種別を判別する判別装置として情報処理装置を機能させるためのプログラムであって、
   前記情報処理装置を、
   作業者位置を特定する位置特定部と、
   前記作業者の作業内容を判別する対象範囲に対して前記作業者が同一の作業を行うと予測される予め設定された複数の部分領域のうち、前記作業者位置を含む作業領域を特定する領域特定部と、
   人間の動作を表す動作情報から人間の作業内容を判別するための複数の判別器のうち、前記作業領域に対応付けられた２以上の判別器を、２以上の対象判別器として選択する選択部と、
   作業者の動作を表す作業者動作情報を生成する動作情報生成部と、
   選択された前記２以上の対象判別器を用いて、前記作業者動作情報に基づき、前記作業者の作業内容の候補である複数の候補種別と、前記複数の候補種別のそれぞれの信頼度とを算出し、前記複数の候補種別のうちの前記信頼度が最も高い１つの候補種別を前記作業種別として出力し、前記複数の候補種別のうちの前記作業種別以外の少なくとも１つの候補種別を第１候補種別として出力する判別処理部と、
   出力された前記作業種別と、少なくとも１つの前記第１候補種別とを、同時に表示装置に表示させる表示制御部と、
   前記作業種別が誤っていた場合、前記少なくとも１つの前記第１候補種別の中から正しい作業種別をユーザから受け付ける入力受付部と、
   前記正しい作業種別を前記ユーザから受け付けた場合、前記作業領域に対応付けられた前記２以上の対象判別器のうちの少なくとも１つの対象判別器を、前記作業者動作情報および前記正しい作業種別を用いて訓練する学習部として
   機能させるプログラム。

Images