JP6824838B2 - 作業データ管理システム及び作業データ管理方法 - Google Patents

作業データ管理システム及び作業データ管理方法 Download PDF

Info

Publication number
JP6824838B2
JP6824838B2 JP2017134002A JP2017134002A JP6824838B2 JP 6824838 B2 JP6824838 B2 JP 6824838B2 JP 2017134002 A JP2017134002 A JP 2017134002A JP 2017134002 A JP2017134002 A JP 2017134002A JP 6824838 B2 JP6824838 B2 JP 6824838B2
Authority
JP
Japan
Prior art keywords
work
data
time
detailed
detailed process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017134002A
Other languages
English (en)
Other versions
JP2019016226A (ja
Inventor
泰幸 工藤
泰幸 工藤
芳賀 憲行
憲行 芳賀
聡 勝沼
聡 勝沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2017134002A priority Critical patent/JP6824838B2/ja
Priority to US15/913,957 priority patent/US10657477B2/en
Priority to EP18160478.6A priority patent/EP3425573A1/en
Publication of JP2019016226A publication Critical patent/JP2019016226A/ja
Application granted granted Critical
Publication of JP6824838B2 publication Critical patent/JP6824838B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0633Workflow analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311Scheduling, planning or task assignment for a person or group
    • G06Q10/063114Status monitoring or status determination for a person or group
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395Quality analysis or management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs

Description

本発明は、作業データ管理システム及び作業データ管理方法に関する。
製品の製造が行われる作業現場では、生産効率の向上や製品の品質向上のため、日々、問題点の洗い出しや解決策が求められている。一方、IT(Information Technology)の発展によって、作業現場でセンシングされたデータの統合管理や、見える化(可視化)の他、大規模データの解析が進んでいる。例えば、一つの製品が完成するまでに所定の部材が複数工程で処理される作業現場では、製品の完成・出荷に至るまでの作業プロセスを把握すること、すなわちトレーサビリティの強化が求められている。このようなトレーサビリティに関する技術として、例えば、特許文献1,2に記載の技術が知られている。
すなわち、特許文献1には、「移動容器にICタグを取り付けて…製造工程の投入口と搬出口にそれぞれICタグ読取装置を配設し、このICタグ読取装置により前記移動容器のIDを読み込む」ことが記載されている。
また、特許文献2には、「作業者に装着した各加速度センサのデータ、位置センサのデータを読み出して、各合成加速度値、加速度成分値に従って作業者の稼動内容を…特定する」ことが記載されている。
特開2005−346614号公報 特開2011−191836号公報
しかしながら、特許文献1に記載の技術では、製品に関するトレーサビリティを向上できるものの、作業者による作業内容の詳細を管理者側で把握することが困難である。
また、特許文献2に記載の技術では、作業者が加速度センサや位置センサを装着する必要があるため、そのぶん手間がかかるという事情がある。
そこで、本発明は、作業現場での作業内容を容易に把握可能な作業データ管理システム等を提供することを課題とする。
前記した課題を解決するために、本発明は、作業現場の映像データを含む作業データに基づいて、前記作業現場で作業者によって行われる作業を複数の時系列的な詳細工程に分類する詳細工程分類手段と、少なくとも前記映像データ及び複数の時系列的な前記詳細工程を表示手段に表示させるデータ可視化手段と、を備え、前記詳細工程分類手段は、前記作業者の身体における所定部位の位置の変化に基づいて、前記作業者が行っている前記詳細工程を特定し、前記データ可視化手段は、複数の時系列的な前記詳細工程をガントチャートとして前記表示手段に表示させ、前記映像データを動画として前記表示手段に表示させているとき、前記映像データの再生時の時刻を示す線を前記ガントチャートに重畳表示させ、複数の時系列的な前記詳細工程が過去の所定期間に繰り返された場合において、前記表示手段の画面上における前記所定部位の存在確率を算出する作業動作統計解析手段をさらに備え、前記データ可視化手段は、前記存在確率の分布である存在確率分布を、前記作業現場の撮影結果に重畳表示させることを特徴とする。
本発明によれば、作業現場での作業内容を容易に把握可能な作業データ管理システム等を提供できる。
本発明の第1実施形態に係る作業データ管理システムの構成を示す機能ブロック図である。 本発明の第1実施形態に係る作業データ管理システムが備える詳細工程分類手段の機能ブロック図である。 本発明の第1実施形態に係る作業データ管理システムが備える詳細工程分類手段のイベント判定リストの説明図である。 本発明の第1実施形態に係る作業データ管理システムが備える詳細工程分類手段の工程判定リストの説明図である。 本発明の第1実施形態に係る作業データ管理システムが備える作業動作集計手段によって生成される作業動作データの例を示す説明図である。 本発明の第1実施形態に係る作業データ管理システムにおいて、再生時刻バーが詳細工程A1に位置している時の画面イメージである。 本発明の第1実施形態に係る作業データ管理システムにおいて、再生時刻バーが詳細工程M1に位置している時の画面イメージである。 本発明の第1実施形態に係る作業データ管理システムにおいて、再生時刻バーが詳細工程A2に位置している時の画面イメージである。 本発明の第1実施形態に係る作業データ管理システムが備える情報処理装置の処理を示すフローチャートである。 本発明の第2実施形態に係る作業データ管理システムの構成を示す機能ブロック図である。 本発明の第2実施形態に係る作業データ管理システムが備える生産効率解析手段の機能ブロック図である。 本発明の第2実施形態に係る作業データ管理システムが備える生産効率解析手段の施策リストの説明図である。 本発明の第2実施形態に係る作業データ管理システムのデータ可視化手段によって生成される画面イメージである。 本発明の第3実施形態に係る作業データ管理システムの構成を示す機能ブロック図である。 本発明の第3実施形態に係る作業データ管理システムに含まれる情報処理システムの機能ブロック図である。 本発明の第3実施形態に係る作業データ管理システムが備えるデータ統合装置の機能ブロック図である。 本発明の第3実施形態に係る作業データ管理システムが備えるデータ統合装置の同一製品判定リストの説明図である。 本発明の第3実施形態に係る作業データ管理システムのデータ可視化手段によって生成される画面イメージである。
≪第1実施形態≫
<作業データ管理システムの構成>
図1は、第1実施形態に係る作業データ管理システムWの構成を示す機能ブロック図である。
図1に示す作業データ管理システムWは、作業現場での作業に関するデータ(作業データという)を管理するシステムである。本実施形態では、所定の製品を製造するために、作業者が所定の作業(部材の加工等)を繰り返す様子を撮影し、その撮影結果に基づいて、作業の分析・表示を行うようにしている。なお、前記した部材は、完成品である製品と略同一の物であってもよいし、また、完成品である製品の構成部品であってもよい。
図1に示すように、作業データ管理システムWは、第1計測装置G1と、第2計測装置G2と、情報処理装置100と、を備えている。
第1計測装置G1及び第2計測装置G2は、情報処理装置100の解析に用いられるセンシングデータを取得する装置である。第1計測装置G1は、作業者の広範囲での動きを捉える(つまり、遠景を撮影する)ためのネットワークカメラであり、作業現場に設置されている。第2計測装置G2は、作業者の細かい動きを捉える(つまり、近景を撮影する)ためのネットワークカメラであり、作業現場に設置されている。第1計測装置G1及び第2計測装置G2は、時々刻々の撮影結果を、所定の通信プロトコルに基づき、ネットワークNを介して情報処理装置100に送信する。なお、ネットワークNは、例えば、LAN(Local Area Network)である。
情報処理装置100は、図示はしないが、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、各種インタフェース等の電子回路を含んで構成されている。そして、ROMに記憶されたプログラムを読み出してRAMに展開し、CPUが各種処理を実行するようになっている。
情報処理装置100は、第1計測装置G1及び第2計測装置G2から受信した映像データに基づいて、作業者による作業を解析し、その解析結果を表示させる装置である。
図1に示すように、情報処理装置100は、計測インタフェース11と、計測データ記憶手段12と、特徴量抽出手段13と、第1入力手段14と、大工程設定手段15と、詳細工程分類手段16と、詳細工程記憶手段17と、を備えている。
また、情報処理装置100は、前記した構成の他に、作業時間集計手段18と、作業時間記憶手段19と、作業時間統計解析手段20と、作業動作集計手段21と、作業動作記憶手段22と、作業動作統計解析手段23と、を備えている。さらに、情報処理装置100は、データ可視化手段24と、第2入力手段25と、結果表示手段26(表示手段)と、を備えている。
計測インタフェース11は、所定の通信プロトコルに基づいて、第1計測装置G1及び第2計測装置G2から時系列の映像データを取り込み、この映像データを所定時間毎のファイルに分けて計測データ記憶手段12に格納する。なお、映像データには、撮影時刻を示すデータやカメラIDも含まれている。
また、計測インタフェース11は、自身が取り込んだ時系列の映像データを特徴量抽出手段13に出力する。その他、計測インタフェース11は、第1計測装置G1及び第2計測装置G2の起動指示や画質調整といった所定の制御コマンドを、ネットワークNを介して送信する機能も有している。
計測データ記憶手段12は、前記した映像データをメモリ領域に書き込み、また、データ可視化手段24からの読出命令に応じて、データ可視化手段24に所定の映像データを出力する。
特徴量抽出手段13は、計測インタフェース11を介して自身に入力される映像データの特徴量を抽出し、作業者の頭・手の位置を特定する。より詳しく説明すると、特徴量抽出手段13は、第1計測装置G1の撮影結果(遠景)に基づいて、作業者の頭の位置を特定する。また、特徴量抽出手段13は、第2計測装置G2の撮影結果(近景)に基づいて、作業者の手の位置を特定する。なお、特徴量抽出手段13による作業者の頭・手の位置の特定には、周知の映像解析の手法が用いられる。例えば、特定色・特定サイズの物体を抽出する方法や、ヒトの骨格を機械学習する方法が挙げられる。
本実施形態では、映像データの解像度を基準としたXY座標の形式で、作業者の頭・手の位置を特定するようにしている。位置の出力範囲は、遠景・近景共に、例えば、画面上の左上角部の座標を(X,Y)=(1,1)、右下角部の座標を(X,Y)=(640,480)としている。特徴量抽出手段13によって抽出される作業者の頭・手の位置のデータは、撮影時刻及びカメラIDに紐付けられた特徴量データとして、詳細工程分類手段16に出力されるとともに、作業動作集計手段21に出力される。
第1入力手段14は、例えば、バーコードリーダであり、どの作業者が、どのような作業(大工程という)を行うかを予め入力するための読取装置である。前記した「大工程」とは、作業現場で行われる作業の大まかな工程を意味している。
例えば、作業者が、自身のIDカードに第1入力手段14を近接させることで、作業者IDが読み取られる。また、作業者が、製品の組立図や製品自体に付けられているバーコードに第1入力手段14を近接させることで、そのバーコードが読み取られる。このようにして読み取られるデータには、作業者ID、「大工程」の種別を含む大工程データの他、製品ロット、バーコードの読取時刻等が含まれている。なお、第1入力手段14を用いた所定の入力は、作業効率にほとんど影響しない頻度(例えば、数分から数10分の間隔)で行われる。
大工程設定手段15は、第2入力手段25からの情報に含まれる大工程データをデコードする。
詳細工程分類手段16は、特徴量抽出手段13から入力される特徴量データ、及び大工程設定手段15から入力される大工程データに基づいて、「大工程」をより詳細な「詳細工程」に細分化する。なお、複数の「詳細工程」は、「大工程」に対応付けて予め設定されている。
図2は、作業データ管理システムWが備える詳細工程分類手段16の機能ブロック図である。
図2に示すように、詳細工程分類手段16は、イベント判定手段16aと、イベント判定リスト16bと、工程判定手段16cと、工程判定リスト16dと、を備えている。
イベント判定手段16aは、特徴量抽出手段13から入力される時系列の特徴量データに基づき、作業現場における作業の時々刻々の「イベント」を逐次判定し、その判定結果を工程判定手段16cに出力する。前記した「イベント」とは、例えば、画面上の所定領域に作業者の手が映っている、所定領域で作業者が立ち止まっている等、それだけでは作業の工程を推定できないレベルの細かい挙動である。
イベント判定リスト16bは、イベントを判定するための特徴量の条件をリストアップしたものであり、予め設定されている。
図3は、詳細工程分類手段16が備えるイベント判定リスト16bの説明図である。
図3に示す「♯」は、各イベントに付されている識別情報である。「頭の位置α」は、映像データの画面中における頭の位置をXY座標で表したものである。例えば、「X:75(±50)」は、映像データを画面に表示した場合の左上角部を基準として、右側に75ピクセルの位置を中心に±50ピクセルの範囲内であることを意味している。
図3に示す「手の位置β」は、映像データの画面中における手の位置をXY座標で表したものである。「論理式」は、頭の位置αが所定範囲内であるという条件、及び、手の位置βが所定範囲内であるという条件に関する論理式である。「継続時間」は、前記した論理式が時間的に継続して成立している場合、イベントに関する所定の判定を行うようにするための時間閾値である。「判定内容」は、所定の論理式及び継続時間に基づいて判定(分類)されるイベントの内容である。
例えば、図3に示すイベントE1について説明すると、イベント判定手段16a(図2参照)は、次のような処理を行う。すなわち、作業者の頭の位置αが所定領域(X:75(±50),Y:240(±50))に存在し、かつ、手の位置βが所定領域(X:320(±100),Y:200(±50))に存在している状態が1秒以上継続した場合、イベント判定手段16aは、「作業者が加工機付近に滞在している」と判定する。このようにイベント判定手段16aは、時々刻々(映像データの一コマ一コマ)の作業者の挙動に所定のイベントを対応付ける。そして、イベント判定手段16aは、判定結果であるイベントデータを、図2に示す工程判定手段16cに出力する。
工程判定手段16cは、大工程設定手段15から入力される大工程データ、及び、イベント判定手段16aから入力されるイベントデータに基づき、作業者の動作が、どの詳細工程に分類されるかを判定(特定)する。前記したように、「詳細工程」とは「大工程」を細分化したものであり、また、複数のイベントの組合せで表される。
工程判定リスト16dは、詳細工程を判定するための大工程データ及びイベントデータの条件をリストアップしたものであり、予め設定されている。
図4は、詳細工程分類手段16が備える工程判定リスト16dの説明図である。
図4に示す「♯」は、各詳細工程に付されている識別情報である。「大工程γ」は、大工程の種別(本実施形態では「加工」)であり、第1入力手段14(図1参照)を介して入力される。
図4に示すイベントδは、前記したイベントの組合せに関する所定の条件を示している。「論理式」は、大工程γ及びイベントδに関する論理式である。「継続時間」は、前記した論理式が時間的に継続して成立している場合、詳細工程に関する所定の判定を行うようにするための時間閾値である。「判定内容」は、所定の論理式及び継続時間に基づいて判定(分類)される詳細工程の内容である。
例えば、図4に示す詳細工程A1について説明すると、工程判定手段16c(図2参照)は、次のような処理を行う。すなわち、大工程γが「加工」であり、かつ、イベントE1が発生してから10秒以内にイベントE2が発生し、これらの両方を満たす状態が1秒以上継続した場合、工程判定手段16cは、「作業者が加工機に部材をセットしている」と判定する。このように詳細工程分類手段16(図2参照)は、作業現場の映像データを含む作業データに基づいて、作業現場で作業者によって行われる作業を複数の時系列的な詳細工程に分類する。また、詳細工程分類手段16は、作業者の身体における所定部位(頭・手)の位置の変化に基づいて、作業者が行っている詳細工程を特定する。
なお、工程判定手段16c(図2参照)から出力される詳細工程データには、詳細工程を特定するデータ(詳細工程A1等)の他、詳細工程の開始時刻・終了時刻も含まれている。また、イベント判定リスト16b及び工程判定リスト16dの内容は、第2入力手段25(図1参照)を介したユーザの操作によって、適宜に変更可能である。
再び、図1に戻って説明を続ける。
詳細工程記憶手段17は、前記した詳細工程データをメモリ領域に逐次書き込み、また、データ可視化手段24からの読出命令に応じて、詳細工程データをデータ可視化手段24に出力する。
作業時間集計手段18は、詳細工程データに基づき、詳細工程毎の作業時間を算出する。前記した「作業時間」とは、ひとつひとつの詳細工程に要した時間である。一例を挙げると、詳細工程A1の作業時間とは、この詳細工程A1の開始時刻から、次の詳細工程(例えば、詳細工程A2)の開始時刻までの時間である。
作業時間記憶手段19は、作業時間集計手段18からの作業時間データを逐次メモリ領域に書き込み、また、データ可視化手段24からの読出命令に応じて、作業時間データをデータ可視化手段24に出力する。
作業時間統計解析手段20は、過去の所定期間(例えば、過去一週間)に行われた詳細工程(例えば、詳細工程A1)の作業時間に関する所定の統計値を算出し、作業時間統計データとしてデータ可視化手段24に出力する。この作業時間統計データには、例えば、過去一週間における作業時間の最小値、第1四分位点、中央値、第3四分位点、及び最大値が含まれている。これらの最小値等は、後記する箱ヒゲ図P2(図6A参照)を作成する際に用いられる。なお、作業時間の収集期間や統計の項目は、第2入力手段25を介したユーザの操作によって、適宜に変更可能である。
作業動作集計手段21は、特徴量抽出手段13から入力される特徴量データ、及び詳細工程分類手段16から入力される詳細工程データに基づいて、作業動作データを生成する。
図5は、作業動作集計手段21によって生成される作業動作データの例を示す説明図である。
図5に示す例では、作業現場の撮影が行われた日付・時刻、詳細工程、詳細工程の開始時からの経過時間、作業者の頭の位置、及び作業者の手の位置が、作業動作データに含まれている。
図1に示す作業動作記憶手段22は、前記した作業動作データを、映像データのフレームに対応付けて、メモリ領域に逐次書き込む。また、作業動作記憶手段22は、データ可視化手段24からの読出命令に応じて、作業動作データをデータ可視化手段24に出力する。
作業動作統計解析手段23は、過去の所定期間(例えば、過去一週間)に行われた作業に関する統計値を算出し、作業動作統計データとしてデータ可視化手段24に出力する。例えば、複数の時系列的な詳細工程が過去の所定期間に繰り返された場合において、作業動作統計解析手段23は、結果表示手段26の画面上における所定部位(作業者の頭・手)の存在確率を算出する。具体的に説明すると、作業動作統計解析手段23は、各詳細工程における頭・手の位置の存在確率を、作業開始時からの経過時間毎に算出する。この存在確率は、後記する存在確率分布P9,P11(図6A参照)を生成する際に用いられる。
また、作業動作統計解析手段23は、作業者の所定部位(頭・手)の時々刻々の位置に基づいて、この所定部位の動線履歴を生成する機能も有している。なお、作業動作の収集期間や統計の項目は、第2入力手段25を介したユーザの操作によって変更可能である。
データ可視化手段24は、第2入力手段25から入力されるデータに基づき、各記憶手段に記憶されているデータを収集し、さらに、ユーザが直感的に理解しやすいように整理して、可視化データを生成する。なお、可視化データの詳細については後記する。
第2入力手段25は、マウスやキーボードといった入力手段である。第2入力手段25は、各種設定の他、後記する再生時刻バーP5(図6A参照)をユーザがドラッグする際に用いられる。
結果表示手段26は、例えば、液晶ディスプレイであり、データ可視化手段24によって生成される画面イメージを表示する機能を有している。
<画面イメージの例>
図6Aは、再生時刻バーP5が詳細工程A1に位置している時の画面イメージである(適宜、図1を参照)。
図6Aに示す画面イメージは、ガントチャートP1と、ガントチャートP1に重畳表示される複数の箱ヒゲ図P2と、計測データ表示エリアP3,P4と、を含んで構成される。
ガントチャートP1は、詳細工程A1,A2,M1,B1(図4の「判定内容」を参照)が行われた時間帯を視覚的に示すものである。ガントチャートP1の横軸は、時間である。また、詳細工程A1,A2,M1,B1のチャートの行が、縦方向に順次に配列されている。例えば、詳細工程A1のチャートの行には、この詳細工程A1に関するガントチャートP1の要素Pa1が表示される。このようにデータ可視化手段24は、少なくとも映像データ及び複数の時系列的な詳細工程(ガントチャートP1等)を結果表示手段26に表示させる。これによって、それぞれの詳細工程A1,A2,M1,B1に作業者がどれだけの時間を要したかを、ユーザ(管理者)は一目で把握できる。
箱ヒゲ図P2は、各詳細工程に要した時間のばらつきを示す統計図であり、過去の所定期間(例えば、過去一週間)に得られたデータに基づいて作成される。例えば、詳細工程A1に要した時間の最小値、第1四分位点、中央値、第3四分位点、及び最大値が作業時間統計解析手段20(図1参照)によって算出される。そして、これらの統計値に基づいて、詳細工程A1の箱ヒゲ図P2が作成され、ガントチャートP1に重畳表示される。なお、他の詳細工程A2,M1,B1についても同様である。
このようにデータ可視化手段24は、詳細工程及び映像データを結果表示手段26に表示させるとともに、作業時間統計データ(箱ヒゲ図P2等)を結果表示手段26に表示させる。これによって、それぞれの詳細工程A1,A2,M1,B1における作業時間のばらつきを、ユーザ(管理者)は一目で把握できる。例えば、ガントチャートP1における詳細工程B1は、箱ヒゲ図P2の横幅が比較的大きく、作業時間のばらつきが大きいことを示している。
図6Aに示す再生時刻バーP5(上側に「Now」と記載)は、計測データ表示エリアP3,P4に表示されている映像の再生時刻を示す線である。計測データ表示エリアP3,P4において映像が再生されているとき、再生時刻バーP5は、画面右側に移動する。このようにデータ可視化手段24は、映像データを動画として結果表示手段26に表示させているとき、映像データの再生時の時刻を示す線(再生時刻バーP5)をガントチャートP1に重畳表示させる。なお、ガントチャートP1に表示されている作業逸脱マーカP6や動線ばらつき異常マーカP7については後記する。
計測データ表示エリアP3,P4は、所定の再生時刻における作業現場の映像や、頭・手の位置の存在確率分布等を表示させるための領域である。図6Aに示す例では、ガントチャートP1において、再生時刻バーP5が詳細工程A1の中に存在している。この詳細工程A1のチャートの行には、作業逸脱マーカP6や動線ばらつき異常マーカP7が表示されておらず、また、箱ヒゲ図P2の横幅が狭い。このように詳細工程A1が正常に繰り返された場合、データ可視化手段24は、第1計測装置G1の計測結果(撮影結果)を計測データ表示エリアP3に表示させ、また、第2計測装置G2の計測結果(撮影結果)を計測データ表示エリアP4に表示させる。
図6Aに示す例では、遠景撮影用の第1計測装置G1によって作業者を上から撮影した録画画像が、計測データ表示エリアP3に動画として再生される。また、作業者の頭の位置を示す位置マーカP8が、計測データ表示エリアP3に表示される。さらに、再生時刻(詳細工程A1の開始時からの経過時間)における頭の位置の存在確率を示す存在確率分布P9が、第1計測装置G1の撮影結果に重畳表示される。このようにデータ可視化手段24は、作業者における所定部位(例えば、頭)の存在確率の分布である存在確率分布P9を、作業現場の撮影結果に重畳表示させる。なお、頭の位置の存在確率が高い領域ほど、存在確率分布P9が濃い網掛けで表示される。動画が再生されているとき、この存在確率分布P9も時々刻々と変動する。
また、図6Aに示す例では、近景撮影用の第2計測装置G2によって作業者を上から撮影した録画画像が、計測データ表示エリアP4に動画として再生される。また、作業者の手の位置を示す位置マーカP10が、計測データ表示エリアP4に表示される。さらに、再生時刻における手の位置の存在確率を示す存在確率分布P11が、第2計測装置G2の撮影結果に重畳表示される。
図6Aに示す再生時刻では、前記したように正常に作業が行われているため、頭の位置マーカP8が存在確率分布P9の中に存在し、また、手の位置マーカP10が存在確率分布P11の中に存在している。このようにガントチャートP1や箱ヒゲ図P2と、存在確率分布P9,P11と、を見比べつつ、ユーザ(管理者)は、作業者がどのような動作で作業を行ったのかを視覚的に把握できる。
図6Bは、再生時刻バーP5が詳細工程M1に位置している時の画面イメージである。
図6Bに示す例では、詳細工程M1のチャートの行に作業逸脱マーカP6が表示されている。この作業逸脱マーカP6は、作業者の動作が、過去に繰り返された作業から逸脱した場合、ガントチャートP1の要素Pa1に表示されるマーカである。このようにデータ可視化手段24は、所定の詳細工程において、所定部位(作業者の頭又は手)の位置が存在確率分布から逸脱した(存在確率が略ゼロである)場合、この詳細工程に対応するガントチャートP1の要素Pa1に作業逸脱マーカP6を表示させる。
また、作業逸脱が生じた場合、データ可視化手段24は、作業者の頭・手の映像うち、存在確率分布から外れた側の映像を計測データ表示エリアP3,P4に優先的に表示させる。図6Bに示す例では、遠景の映像(作業現場の撮影結果)とともに、頭の位置マーカP8及び頭の存在確率分布P9が、計測データ表示エリアP3に重畳表示されている。また、計測データ表示エリアP4には、同じく遠景の映像とともに、頭の位置マーカP8及び頭の動線履歴P12が重畳表示されている。この動線履歴P12は、詳細工程M1における頭の位置の動線履歴である。このように、ガントチャートP1等の他に動線履歴P12も表示させることで、ユーザは、作業逸脱に関する情報を効率的に確認できる。
図6Cは、再生時刻バーP5が詳細工程A2に位置している時の画面イメージである。
図6Cに示す例では、詳細工程A2のチャートの行に動線ばらつき異常マーカP7が表示されている。この動線ばらつき異常マーカP7は、過去に繰り返された作業の動作(つまり、動線履歴)が大きくばらついている場合、ガントチャートP1の要素Pa1に対応付けて表示されるマーカである。なお、動線ばらつき異常マーカP7を表示させるか否かは、動線履歴P12の分散値に基づいて判定される。
このように、データ可視化手段24は、所定の詳細工程において、複数本の動線履歴の分散値が所定閾値以上である場合、この詳細工程に対応するガントチャートP1の要素Pa1に動線ばらつき異常マーカP7を表示させる。
また、動線ばらつき異常が生じた場合、データ可視化手段24は、作業者の頭・手の映像うち、動線履歴の分散値が所定閾値を超えた側の映像を計測データ表示エリアP3,P4に優先的に表示させる。図6Cに示す例では、手の動線履歴の分散値が所定閾値を超えたため、近景の映像とともに、手の位置マーカP10及び手の存在確率分布P11が計測データ表示エリアP3に重畳表示されている。また、計測データ表示エリアP4には、同じく近景の映像とともに、手の位置マーカP10及び手の動線履歴P13が重畳表示されている。ガントチャートP1等の他に動線履歴P13を表示させることで、ユーザは、動線ばらつき異常に関する情報を効率的に確認できる。
<情報処理装置の処理>
図7は、情報処理装置100の処理を示すフローチャートである(適宜、図1を参照)。
ステップS101において情報処理装置100は、計測データを取得する。すなわち、情報処理装置100は、計測インタフェース11によって、第1計測装置G1及び第2計測装置G2から、ネットワークNを介して計測データ(映像データ)を取得する。
ステップS102において情報処理装置100は、特徴量を抽出する。すなわち、情報処理装置100は、特徴量抽出手段13によって、作業者の頭・手の位置を抽出する。なお、ステップS101,S102の処理は、時々刻々の(つまり、フレーム毎の)映像データについて行われる。また、ステップS101,S102と並行して、次に説明するステップS103,S104の処理が、例えば、数分毎に行われる。
ステップS103において情報処理装置100は、大工程データを取得する。すなわち、情報処理装置100は、第1入力手段14を介して大工程データを取得する。
ステップS104において情報処理装置100は、大工程の設定を行う。すなわち、情報処理装置100は、第1入力手段14を介して取得した大工程データを、大工程設定手段15によってデコードする。
ステップS105において情報処理装置100は、詳細工程の分類を行う(詳細工程分類処理)。すなわち、情報処理装置100は、ステップS102で抽出された特徴量と、ステップS104で設定された大工程と、に基づき、詳細工程分類手段16によって、作業者の時々刻々の動作を所定の詳細工程に分類する。なお、図7では図示を省略しているが、過去の所定期間分の(例えば、過去一週間分の)映像データ等について、ステップS101〜S105の処理が繰り返される。
次に、ステップS106において情報処理装置100は、作業時間を集計する。すなわち、情報処理装置100は、作業時間集計手段18によって、各詳細工程に要した作業時間を集計し、作業時間データを生成する。
ステップS107において情報処理装置100は、作業時間の統計解析を行う。すなわち、情報処理装置100は、各詳細工程について、前記した箱ヒゲ図P2(図6A参照)の作成に用いられる作業時間統計データを、作業時間統計解析手段20によって生成する。また、ステップS106,S107と並行して、次に説明するステップS108,S109の処理が行われる。
ステップS108において情報処理装置100は、作業動作を集計する。すなわち、情報処理装置100は、作業動作集計手段21によって、各詳細工程の作業動作データ(図5参照)を生成する。
ステップS109において情報処理装置100は、作業動作の統計解析を行う。すなわち、情報処理装置100は、作業動作統計解析手段23によって、存在確率分布図P9,P11や動線履歴P12,P13等(図6A、図6B、図6C参照)の作成に用いられる作業動作統計データを、作業動作統計解析手段23によって生成する。
ステップS110において情報処理装置100は、データの可視化を行う。すなわち、ステップS110において情報処理装置100は、前記した計測データ、特徴量データ、大工程データ、詳細工程データ、作業時間統計データ、及び作業動作統計データに基づき、データ可視化手段24によって、所定の可視化データを生成する。
ステップS111において情報処理装置100は、可視化条件の設定を行う。すなわち、情報処理装置100は、第2入力手段25を介した操作に応じて、結果表示手段26に所定の画像を表示させるための可視化条件を設定する。例えば、ガントチャートP1(図6A参照)、箱ヒゲ図P2、存在確率分布P9,P11といった各種データのうち、結果表示手段26に実際に表示させるデータが、第2入力手段25を介した操作によって設定される。
ステップS112において情報処理装置100は、結果の表示を行う(データ可視化処理)。すなわち、情報処理装置100は、データ可視化手段24によって、図6A等に示す画像を結果表示手段26に表示させる。
ステップS113において情報処理装置100は、他の分析を行うか否かを判定する。例えば、他の分析として、動作履歴の分散値の算出方法を変更するといった設定変更が挙げられる。ステップS113において他の分析を行う場合(S113:Yes)、情報処理装置100の処理はステップS111に戻る。この場合には、可視化条件の設定が再度実行され(S111)、その条件に基づいて、所定の結果が表示される(S112)。
一方、ステップS113において他の分析を行わない場合(S113:No)、情報処理装置100の処理はステップS114に進む。ステップS114において情報処理装置100は、計測を終了するか否かを判定する。すなわち、情報処理装置100は、第2入力手段25を介した操作に応じて、作業動作の計測を終了するか否かを判定する。作業動作の計測を終了しない場合(S114:No)、情報処理装置100の処理はステップS101,S103に戻る。一方、作業動作の計測を終了する場合(S114:Yes)、情報処理装置100は、一連の処理を終了する(END)。
<効果>
第1実施形態によれば、作業現場の映像データ等に基づいて、作業者が行う大工程が時系列的な複数の詳細工程に細分化され、ガントチャートP1として結果表示手段26に表示される(図6A参照)。これによって、各詳細工程でどれくらいの時間を要したのかをユーザ(管理者)が容易に把握できる。また、作業者が位置センサ(図示せず)や加速度センサ(図示せず)を装着する必要がなく、作業者側の手間を省くことができる。
また、作業者が過去に繰り返した作業の統計情報に基づいて、箱ヒゲ図P2(図6A参照)や存在確率分布P9,P11の他、動線履歴P12,P13(図6B、図6C参照)が適宜に表示される。これによって、ユーザは、存在確率分布P9と作業者の頭の位置関係や、存在確率分布P11と作業者の手の位置関係等を容易に把握できる。このように各詳細工程における作業時間や作業者の動作の傾向を把握することで、製品の品質や生産性の向上を図ることできる。
また、データ可視化手段24は、作業者による作業の逸脱があった場合、ガントチャートP1の要素Pa1に作業逸脱マーカP6を表示させる(図6A等を参照)。また、データ可視化手段24は、動線履歴の分散値が所定閾値以上である場合、ガントチャートP1の要素Pa1に動線ばらつき異常マーカP7を表示させる(図6A等を参照)。これによって、作業に何らかの異常があったことをユーザが容易に把握でき、その後の施策に反映させることができる。
≪第2実施形態≫
第2実施形態は、データの解析や可視化がリアルタイムで行われる点が、第1実施形態とは異なっている。また、第2実施形態は、例えば、作業の遅延が生じた場合、データ可視化手段24A(図8参照)が、その施策に関するデータを結果表示手段26(図8参照)に表示させる点が、第1実施形態とは異なっている。なお、その他については第1実施形態と同様である。したがって、第1実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
図8は、第2実施形態に係る作業データ管理システムWAの構成を示す機能ブロック図である。
図8に示す情報処理装置100Aは、第1実施形態の構成(図1参照)に生産効率解析手段27を追加し、さらに、作業時間統計解析手段20Aやデータ可視化手段24Aに付加的な機能を追加した構成になっている。
作業時間統計解析手段20Aは、第1実施形態で説明した作業時間統計データを出力する他、個々の詳細工程に関する平均作業時間を算出する。つまり、作業時間統計解析手段20Aは、詳細工程A1,A2,M1,B1(図4参照)のそれぞれについて、その平均作業時間を算出する。
データ可視化手段24Aは、第1実施形態で説明した各種データの他、次に説明する生産効率解析手段27によって提示された施策を結果表示手段26に表示させる。
生産効率解析手段27は、各種データに基づいて作業の進捗状況を推定するとともに、その進捗状況に応じて、生産性を向上させるための所定の施策を提示する。
図9は、情報処理装置100Aが備える生産効率解析手段27の機能ブロック図である。
図9に示すように、生産効率解析手段27は、工程完了予測手段27aと、大工程生産計画27bと、工程進捗解析手段27cと、施策リスト27dと、施策選択手段27eと、を備えている。
工程完了予測手段27aは、大工程設定手段15から入力される大工程データ、詳細工程分類手段16から入力される詳細工程データ、及び、作業時間統計解析手段20Aから入力される作業時間統計データに基づき、大工程の完了時刻を予測する。その一例を挙げると、大工程データから「加工」工程の開始情報が与えられた場合、工程完了予測手段27aは、その時刻T1を記憶する。また、工程完了予測手段27aは、作業時間統計データに含まれる各詳細工程の平均作業時間を合算することで、加工工程に要する時間ΔT2を推定する。
そして、工程完了予測手段27aは、前記した時刻T1に時間ΔT2を加算することで、加工工程の予測完了時刻を算出する。加工工程に含まれる最初の詳細工程A1が完了したとき、工程完了予測手段27aは、その時刻を新たな時刻T1に設定する。そして、工程完了予測手段27aは、時間ΔT2から詳細工程A1の平均作業時間を減算することで、新たな時間ΔT2を設定する。
さらに、工程完了予測手段27aは、新たな時刻T1に時間ΔT2を加算することで、加工工程の予測完了時刻を更新する。このように、詳細工程が完了するたびに、加工工程の予測完了時刻が逐次更新される。言い換えると、作業現場の映像データが結果表示手段26にリアルタイムで表示される場合において、作業時間統計解析手段20Aは、作業時間の平均値及び現在時刻に基づいて、時系列的な複数の詳細工程を含む大工程の予測完了時刻を算出する。
なお、前記した時間ΔT2として、作業時間の中央値を用いてもよいし、また、作業時間の分散値を考慮した所定の指標を用いてもよい。これによって、時間ΔT2をさらに高精度に求めることができる。
図9に示す大工程生産計画27bは、大工程の計画開始時刻や計画完了時刻を大工程毎に記載したリストであり、予め設定されている。なお、第2入力手段25(図8参照)を介したユーザの操作によって、大工程生産計画27bをアップデートするようにしてもよい。
工程進捗解析手段27cは、前記した大工程の予測完了時刻及び大工程生産計画27bに基づいて、大工程生産計画に対する進捗状況を解析する。例えば、大工程生産計画27bに記憶されている加工工程の計画完了時刻が8時31分15秒であり、予測完了時刻が8時31分25秒の場合、工程進捗解析手段27cは、「+10秒」という遅延データを出力する。
施策リスト27dは、生産性を向上させるための所定の施策を記載したリストであり、工程遅延のレベルに対応付けて、予め設定されている。すなわち、施策リスト27dは、大工程の計画完了時刻と予測完了時刻との時間差と、作業に関する所定の施策情報と、が予め対応付けて格納される「記憶手段」である。
図10は、生産効率解析手段27の施策リスト27dの説明図である。
図10に示す「レベル」は、所定の遅延データ及び施策に対応付けられる識別情報である。「遅延データ」は、予定よりも作業が遅れている(又は早すぎる)度合いを示すデータである。「施策」は、生産効率を向上させるための対応策であり、遅延データに対応付けられている。
図9に示す施策選択手段27eは、工程進捗解析手段27cから入力される遅延データに基づき、施策リスト27dの中から適切な施策を選択する。すなわち、施策選択手段27eは、大工程の計画完了時刻と予測完了時刻との時間差に基づいて、この時間差に対応する施策情報を選択する。例えば、遅延データが+1分以上かつ+3分未満である場合、施策選択手段27eは、「少しだけピッチを上げて作業する」という作業者向けの施策を選択する。この場合において、少しだけピッチを上げて作業するよう、ネットワークN(図8参照)を介して作業者にリアルタイムで伝えるようにしてもよい。
図11は、作業データ管理システムWAのデータ可視化手段24Aによって生成される画面イメージである。なお、第1実施形態で示した作業逸脱マーカP6(図6A参照)や動線ばらつき異常マーカP7(図6A参照)については、図示を省略している。
図11に示す例では、ガントチャートP1や再生時刻バーP5の他、大工程生産計画27b(図9参照)に基づく計画完了時刻の線P21や、遅延データに基づく予測完了時刻の線P22が表示されている。このように、データ可視化手段24Aは、現在時刻を示す線P5をガントチャートP1に重畳表示させるとともに、予め設定された大工程の計画完了時刻を示す線P21、及び予測完了時刻を示す線P22をガントチャートP1に重畳表示させる。
また、図11に示すように、計画完了時刻・予測完了時刻の表示エリアP23や、施策情報を表示するメッセージエリアP24が設けられている。そして、データ可視化手段24Aは、前記した施策選択手段27e(図9参照)によって選択された施策情報を結果表示手段26のメッセージエリアP24に表示させる。
<効果>
第2実施形態によれば、リアルタイムで作成されるガントチャートP1(図11参照)に、大工程の計画完了時刻を示す線P21や予測完了時刻を示す線P22が重畳表示される。これによってユーザ(管理者)は、計画完了時刻と予測完了時刻とを見比べることで、作業の進捗状況を容易に把握できる。また、遅延データに基づいて、メッセージエリアP24に所定の施策情報が表示される。この施策情報を参考にして、ユーザは、生産効率等を向上させるための今後の対策を立てることができる。
≪第3実施形態≫
第3実施形態は、情報処理装置100Ba(図12参照)が所定の作業現場に関する解析を行い、情報処理装置100Bb(図12参照)が別の作業現場に関する解析を行う点が、第1実施形態とは異なっている。また、データ統合装置200(図12参照)が、情報処理装置100Ba,100Bbの解析結果を統合する点が、第1実施形態とは異なっている。なお、その他については第1実施形態と同様である。したがって、第1実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
図12は、第3実施形態に係る作業データ管理システムWBの構成を示す機能ブロック図である。
図12に示すように、作業データ管理システムWBは、2系統の情報処理システムWBa,WBbと、データ統合装置200と、を備えている。
情報処理システムWBaは、所定の作業現場における作業者の作業を解析するシステムである。図12に示すように、情報処理システムWBaは、第1計測装置G1と、第2計測装置G2と、情報処理装置100Baと、を備えている。
他方の情報処理システムWBbは、別の作業現場における作業者の作業を解析するシステムである。情報処理システムWBbは、第1計測装置G1と、第2計測装置G2と、情報処理装置100Bbと、を備えている。
例えば、製品の加工を一人の作業者が繰り返す作業を情報処理装置100Baが解析し、また、加工後の製品の組立てを別の作業者が繰り返す作業を情報処理装置100Bbが解析するようになっている。すなわち、複数種類の作業が順次に行われることで、所定の製品が製造される場合において、複数種類の作業は、それぞれ、時系列的な複数の詳細工程を含む大工程として、異なる作業者が担当している。本実施形態では、このような流れ作業(加工や組立て)を行う複数人の作業者の動作を情報処理装置100Ba,100Bbによって個別で解析し、その解析結果をデータ統合装置200によって統合するようにしている。
なお、第1計測装置G1及び第2計測装置G2の計測対象(撮影対象)となる作業現場と、第1計測装置G1及び第2計測装置G2の計測対象(撮影対象)となる作業現場と、はそれほど離れていないものとする。
図13は、作業データ管理システムWBに含まれる情報処理システムWBaの機能ブロック図である。
図13に示す情報処理装置100Baは、第1実施形態で説明した情報処理装置100(図1参照)の各記憶手段を外部インタフェース31〜34に置き換えた構成になっている。これは、ネットワークNを介して各種データをデータ統合装置200(図12参照)に集約させるためである。なお、外部インタフェース31〜34は、それぞれ、同様の処理を実行する。また、外部インタフェース31〜34の四角枠の上側に記載した矢印は、ネットワークNに接続されていることを示している。
外部インタフェース31は、所定の通信プロトコルに基づき、計測データをネットワークNを介してデータ統合装置200(図12参照)に逐次送信する。また、他の外部インタフェース32〜24を介して、特徴量データ、大工程データ、詳細工程データ、作業時間統計データ、作業動作統計データ等が、データ統合装置200(図12参照)に逐次送信される。また、外部インタフェース31〜34は、データ可視化手段24Bからの指令に応じて、データ統合装置200から所定のデータを収集する機能も有している。なお、図12に示す情報処理装置100Bbも、前記した情報処理装置100Baと同様の構成を備えている。
図14は、作業データ管理システムWBが備えるデータ統合装置200の機能ブロック図である。
図14に示すように、データ統合装置200は、外部インタフェース201と、データ管理手段202と、統合データ記憶手段203と、同一製品判定リスト204と、を備えている。
外部インタフェース201は、所定の通信プロトコルに基づいて、前記した各種データを情報処理装置100Ba,100Bb(図12参照)から収集する。また、外部インタフェース201は、情報処理装置100Baからの要求に従って所定のデータを情報処理装置100Baに送信し、また、情報処理装置100Bbからの要求に従って所定のデータを情報処理装置100Bbに送信する。
データ管理手段202は、情報処理装置100Ba,100Bbから受信した各種データを統合し、その統合データを統合データ記憶手段203に格納する。また、データ管理手段202は、外部インタフェース201を介した要求に応じて、統合データ記憶手段203に記録されている統合データを読み出して、所定のデータに変換する。そして、データ管理手段202は、変換後のデータを外部インタフェース201に出力する。
本実施形態では、前記したように、情報処理装置100Ba(図12参照)は、作業者による加工の作業を解析する。また、情報処理装置100Bb(図12参照)は、下流側の別の作業者による組立ての作業を解析する。そして、データ統合装置200(図12参照)は、所定の作業が行われていた「時刻」、及び作業者の頭・手の「位置」をキーにして、情報処理装置100Ba,100Bbの解析結果を紐付け、同一製品に係る作業データとして統合する。その際、図15に示す同一製品判定リスト204が使用される。
図15は、データ統合装置200が備える同一製品判定リスト204の説明図である。
図15に示す「大工程」は、情報処理装置100Baの第1入力手段14を介して設定される大工程(加工)と、他方の情報処理装置100Bbの第1入力手段14を介して設定される大工程(組立て)と、を含んでいる。
図15に示す「項目」は、加工や組立ての開始・完了を示す項目である。「頭の位置」は、加工や組立ての開始時・完了時における作業者の頭の位置である。「手の位置」は、加工や組立ての開始時・完了時における作業者の手の位置である。「平均経過時間」は、過去に繰り返された加工や組立てのデータに基づき、加工の開始時からの経過時間を平均した値である。図15に示すように、「大工程」、「項目」、「頭の位置」、「手の位置」、及び「平均経過時間」が対応付けられて、予め同一製品判定リスト204として記憶されている。
図14に示すデータ管理手段202は、同一製品判定リスト204に基づいて、加工工程の完了タイミングで撮影された映像と、その完了タイミングから「所定時間」に組立工程の開始タイミングで撮影された映像と、を同一製品に係るものであると判定する。図15に示す例では、データ管理手段202は、組立開始時の平均経過時間である1分35秒25から、加工完了時の平均経過時間である1分25秒05を減算した値である10秒20の間を、前記した「所定時間」とする。
これによって、作業対象となっている製品に対応するユニークな生産番号を所定の作業データに付与できる。このように、データ管理手段202は、作業の開始時及び完了時の時刻、並びに所定部位(作業者の頭・手)の位置に基づいて、複数種類の作業(加工・組立て)に対応する作業データを紐付け、さらに、所定の識別情報を付与する。なお、作業対象の製品に識別用のバーコードが付されていない場合、前記したデータの紐付けが特に有効である。
データ統合装置200で統合された所定の作業データは、ネットワークNを介して情報処理装置100Ba,100Bbに送信される。そして、次に説明するガントチャートP1等(図16参照)が、それぞれの結果表示手段26(図13参照)に表示される。
図16は、データ可視化手段24Bによって生成される画面イメージである。
なお、第1実施形態で示した作業逸脱マーカP6(図6A参照)や動線ばらつき異常マーカP7(図6A参照)については、図示を省略している。
第2入力手段25(図13参照)を介したユーザの操作によって、生産番号選択ボタンP31が選択されると、過去に作業対象となった製品の一覧(つまり、生産番号の一覧)が表示される。図16に示す例では、生産番号0001の製品の加工・組立てに関するガントチャートP1等が表示されている。
そして、生産番号選択ボタンP31で選択された製品に対する複数種類の作業(加工・組立て)を統合したガントチャートP1等が表示されるようになっている。このようにデータ可視化手段24Bは、それぞれの作業(加工・組立て)を構成する複数の時系列的な詳細工程をガントチャートP1として結果表示手段26(図13参照)に表示させる。
<効果>
第3実施形態によれば、「時刻」及び作業者の頭・手の「位置」をキーにして、データ統合装置200が、情報処理装置100Ba,100Bbの解析結果を紐付け、同一製品に係る作業データを統合する。これによって、複数の作業者が別の場所で作業を行っている場合にも、各作業を統合したガントチャートP1等を結果表示手段26(図13参照)に表示できる。したがって、作業遅延や作業ミスの多い工程やその発生傾向をユーザ(管理者)が効率的に把握することが可能となり、製品の生産性を高めることができる。
≪変形例≫
以上、本発明に係る作業データ管理システムW等について各実施形態により説明したが、本発明はこれらの記載に限定されるものではなく、種々の変更を行うことができる。
例えば、第1実施形態では、作業データ管理システムW(図1参照)が第1計測装置G1及び第2計測装置G2を含む構成について説明したが、これに限らない。すなわち、計測装置の個数は1つであってもよいし、また、3つ以上であってもよい。なお、第2実施形態や第3実施形態についても同様である。
また、各実施形態では、作業データ管理システムWが、作業者の頭・手の位置を特徴量として抽出する例について説明したが、これに限らない。例えば、不図示の装置や道具等の位置を加えてもよい。これによって、詳細工程の判定精度をさらに高めることができる。
また、各実施形態では、第1計測装置G1及び第2計測装置G2がネットワークカメラである場合について説明したが、これに限らず、USBカメラ(universal serial bus camera)等を用いてもよい。さらに、第1計測装置G1や第2計測装置G2として、カメラの他、加工装置に装備されているセンサや、外部の加速度センサ等を組み合わせてもよい。
また、各実施形態においては、詳細工程の可視化コンテンツをガントチャートP1(図6A参照)としたが、これに限らない。例えば、詳細工程に関するデータをリスト化してもよいし、詳細工程の進捗状況を把握できる他の方法を用いてもよい。
また、第1実施形態では、作業時間の統計値を箱ヒゲ図P2(図6A参照)として可視化する例について説明したが、これに限らない。ユーザが効率的に過去の作業に関する統計情報を把握できる方法であれば、他の態様で可視化してもよい。
また、第1実施形態では、映像再生の進行に伴って、再生時刻バーP5(図6A参照)が右側に移動する例について説明したが、これに限らない。例えば、ガントチャートP1全体を左側に移動させ、再生時刻バーP5を常に見やすい位置に表示させてもよい。
また、各実施形態では、計測データ表示エリアP3,P4(図6A参照)のコンテンツが映像である例について説明したが、これに限らない。ユーザが効率的に詳細工程の状況を把握できるのであれば、センサデータの計測値のグラフ表示等であってもよい。
また、第1実施形態では、作業時間統計解析手段20(図1参照)が、詳細工程に要した作業時間の中央値等を算出する例について説明したが、これに限らない。すなわち、作業時間統計解析手段20が、過去の所定期間における詳細工程のそれぞれについて、詳細工程に要した作業時間の中央値及び/又は平均値を含む作業時間統計データを生成するようにしてもよい。なお、第2実施形態や第3実施形態についても同様である。
また、第3実施形態では、作業データ管理システムWB(図12参照)が、2系統の情報処理システムWBa,WBbを備える構成について説明したが、3系統以上であってもよい。
また、各実施形態を、適宜に組み合わせてもよい。例えば、第2実施形態と第3実施形態とを組み合わせ、情報処理装置100Ba,100Bbによって、各作業者の作業をリアルタイムに解析し、その解析結果をデータ統合装置200で統合するようにしてもよい。これによって、各作業者の工程進捗状況や施策をリアルタイムで可視化できる。
また、各実施形態では、作業データ管理システムW等の分析対象が、製品の製造現場(作業現場)である例について説明したが、これに限らない。すなわち、作業者が所定の作業を繰り返すものであれば、他の作業現場にも適用できる。
また、各実施形態は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、前記した機構や構成は説明上必要と考えられるものを示しており、製品上必ずしも全ての機構や構成を示しているとは限らない。
W,WA,WB 作業データ管理システム
100,100A,100Ba,100Bb 情報処理装置
11 計測インタフェース
12 計測データ記憶手段
13 特徴量抽出手段
14 第1入力手段
15 大工程設定手段
16 詳細工程分類手段
16a イベント判定手段
16b イベント判定リスト
16c 工程判定手段
16d 工程判定リスト
17 詳細工程記憶手段
18 作業時間集計手段
19 作業時間記憶手段
20,20A 作業時間統計解析手段
21 作業動作集計手段
22 作業動作記憶手段
23 作業動作統計解析手段
24,24A データ可視化手段
25 第2入力手段
26 結果表示手段(表示手段)
27 生産効率解析手段
27a 工程完了予測手段
27b 大工程生産計画
27c 工程進捗解析手段
27d 施策リスト(記憶手段)
27e 施策選択手段
31,32,33,34 外部インタフェース
200 データ統合装置
201 外部インタフェース
202 データ管理手段
203 統合データ記憶手段
204 同一製品判定リスト
G1 第1計測装置
G2 第2計測装置
N ネットワーク
P1 ガントチャート
P2 箱ヒゲ図
P5 再生時刻バー(再生時の時刻を示す線)
P6 作業逸脱マーカ
P7 動線ばらつき異常マーカ
P9,P11 存在確率分布
P12,P13 動線履歴
P21 線(大工程の計画完了時刻を示す線)
P22 線(大工程の予測完了時刻を示す線)
Pa1 要素(ガントチャートの要素)

Claims (8)

  1. 作業現場の映像データを含む作業データに基づいて、前記作業現場で作業者によって行われる作業を複数の時系列的な詳細工程に分類する詳細工程分類手段と、
    少なくとも前記映像データ及び複数の時系列的な前記詳細工程を表示手段に表示させるデータ可視化手段と、を備え
    前記詳細工程分類手段は、前記作業者の身体における所定部位の位置の変化に基づいて、前記作業者が行っている前記詳細工程を特定し、
    前記データ可視化手段は、複数の時系列的な前記詳細工程をガントチャートとして前記表示手段に表示させ、前記映像データを動画として前記表示手段に表示させているとき、前記映像データの再生時の時刻を示す線を前記ガントチャートに重畳表示させ、
    複数の時系列的な前記詳細工程が過去の所定期間に繰り返された場合において、前記表示手段の画面上における前記所定部位の存在確率を算出する作業動作統計解析手段をさらに備え、
    前記データ可視化手段は、前記存在確率の分布である存在確率分布を、前記作業現場の撮影結果に重畳表示させること
    を特徴とする作業データ管理システム。
  2. 前記データ可視化手段は、所定の前記詳細工程において、前記所定部位の位置が前記存在確率分布から逸脱した場合、当該詳細工程に対応する前記ガントチャートの要素に作業逸脱マーカを表示させること
    を特徴とする請求項に記載の作業データ管理システム
  3. 前記作業動作統計解析手段は、さらに、前記所定部位の時々刻々の位置に基づいて、前記所定部位の動線履歴を生成し、
    前記データ可視化手段は、前記動線履歴を前記作業現場の撮影結果に重畳表示させること
    を特徴とする請求項に記載の作業データ管理システム。
  4. 前記データ可視化手段は、所定の前記詳細工程において、複数本の前記動線履歴の分散値が所定閾値以上である場合、当該詳細工程に対応する前記ガントチャートの要素に動線ばらつき異常マーカを表示させること
    を特徴とする請求項に記載の作業データ管理システム。
  5. 情報処理装置が実行する処理として
    作業現場の映像データを含む作業データに基づいて、前記作業現場で作業者によって行われる作業を複数の時系列的な詳細工程に分類する詳細工程分類処理と、
    少なくとも前記映像データ及び複数の時系列的な前記詳細工程を表示手段に表示させるデータ可視化処理と、が含まれ、
    前記詳細工程分類処理では、前記作業者の身体における所定部位の位置の変化に基づいて、前記作業者が行っている前記詳細工程を特定し、
    前記データ可視化処理では、複数の時系列的な前記詳細工程をガントチャートとして前記表示手段に表示させ、前記映像データを動画として前記表示手段に表示させているとき、前記映像データの再生時の時刻を示す線を前記ガントチャートに重畳表示させ、
    複数の時系列的な前記詳細工程が過去の所定期間に繰り返された場合において、前記表示手段の画面上における前記所定部位の存在確率を算出する作業動作統計解析処理がさらに含まれ、
    前記詳細工程分類処理、前記作業動作統計解析処理、及び前記データ可視化処理が順次に実行され、
    前記データ可視化処理では、前記存在確率の分布である存在確率分布を、前記作業現場の撮影結果に重畳表示させること
    を特徴とする作業データ管理方法。
  6. 前記データ可視化処理では、所定の前記詳細工程において、前記所定部位の位置が前記存在確率分布から逸脱した場合、当該詳細工程に対応する前記ガントチャートの要素に作業逸脱マーカを表示させること
    を特徴とする請求項に記載の作業データ管理方法。
  7. 前記作業動作統計解析処理では、さらに、前記所定部位の時々刻々の位置に基づいて、前記所定部位の動線履歴を生成し、
    前記データ可視化処理では、前記動線履歴を前記作業現場の撮影結果に重畳表示させること
    を特徴とする請求項に記載の作業データ管理方法。
  8. 前記データ可視化処理では、所定の前記詳細工程において、複数本の前記動線履歴の分散値が所定閾値以上である場合、当該詳細工程に対応する前記ガントチャートの要素に動線ばらつき異常マーカを表示させること
    を特徴とする請求項に記載の作業データ管理方法。
JP2017134002A 2017-07-07 2017-07-07 作業データ管理システム及び作業データ管理方法 Active JP6824838B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017134002A JP6824838B2 (ja) 2017-07-07 2017-07-07 作業データ管理システム及び作業データ管理方法
US15/913,957 US10657477B2 (en) 2017-07-07 2018-03-07 Work data management system and work data management method
EP18160478.6A EP3425573A1 (en) 2017-07-07 2018-03-07 Work data management system and work data management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017134002A JP6824838B2 (ja) 2017-07-07 2017-07-07 作業データ管理システム及び作業データ管理方法

Publications (2)

Publication Number Publication Date
JP2019016226A JP2019016226A (ja) 2019-01-31
JP6824838B2 true JP6824838B2 (ja) 2021-02-03

Family

ID=61598929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017134002A Active JP6824838B2 (ja) 2017-07-07 2017-07-07 作業データ管理システム及び作業データ管理方法

Country Status (3)

Country Link
US (1) US10657477B2 (ja)
EP (1) EP3425573A1 (ja)
JP (1) JP6824838B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386373B2 (en) * 2017-03-31 2022-07-12 Nec Corporation Work management device, work management method, and program storage medium
JP7257812B2 (ja) * 2019-02-21 2023-04-14 株式会社日立製作所 計算機システム及び施設の監視方法
US11226937B2 (en) * 2019-03-21 2022-01-18 Faro Technologies, Inc. Distributed measurement system for scanning projects
JP2020168056A (ja) * 2019-04-01 2020-10-15 Juki株式会社 縫製管理システム及び縫製管理方法
CN110148070A (zh) * 2019-04-28 2019-08-20 中铁八局集团电务工程有限公司 一种基于uwb定位的施工质量安全监管方法及系统
JP7277256B2 (ja) 2019-05-24 2023-05-18 コニカミノルタ株式会社 作業分析システム、作業分析装置、および作業分析プログラム
JP7272128B2 (ja) * 2019-06-14 2023-05-12 オムロン株式会社 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体
JP7311319B2 (ja) * 2019-06-19 2023-07-19 ファナック株式会社 時系列データ表示装置
CN112470090A (zh) * 2019-07-09 2021-03-09 株式会社日立制作所 制造管理辅助系统和方法
CN114846514A (zh) * 2019-12-27 2022-08-02 松下知识产权经营株式会社 作业分析装置和作业分析方法
US20220375138A1 (en) * 2020-01-10 2022-11-24 Nec Corporation Visualized image display device
JP7437960B2 (ja) 2020-02-10 2024-02-26 キヤノン株式会社 監視制御装置、監視制御方法、監視システム及びプログラム
JP2021131806A (ja) * 2020-02-21 2021-09-09 オムロン株式会社 行動解析装置及び行動解析方法
JP6931439B1 (ja) 2020-07-03 2021-09-08 株式会社東京ファクトリー プログラム、方法、及びシステム
JP7157119B2 (ja) * 2020-10-29 2022-10-19 Necプラットフォームズ株式会社 支援システム、支援方法及びプログラム
CN112526952A (zh) * 2020-12-14 2021-03-19 安徽巨一科技股份有限公司 一种基于线体节拍采集及分析方法和系统
CN113219921B (zh) 2021-04-30 2022-05-27 广州明珞装备股份有限公司 一种工位生产节拍处理方法、系统、装置及存储介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09259178A (ja) * 1996-03-25 1997-10-03 Hitachi Ltd 工程管理システム
JPH11253676A (ja) * 1998-03-13 1999-09-21 Brother Ind Ltd 刺繍縫製装置用生産管理システム
JP2000218477A (ja) * 1999-01-26 2000-08-08 Hitachi Ltd 生産管理システム
CA2403763A1 (en) * 2000-03-31 2001-10-11 British Telecommunications Public Limited Company Handling unscheduled tasks in a scheduling process
US20060031840A1 (en) * 2003-08-20 2006-02-09 Abb Inc. Real time monitoring manufacturing scheduling and control
JP4470596B2 (ja) * 2004-06-07 2010-06-02 株式会社明電舎 トレーサビリティシステム
JP2006244371A (ja) * 2005-03-07 2006-09-14 Hitachi Software Eng Co Ltd 車両整備状況通信システム
JP2009301242A (ja) * 2008-06-11 2009-12-24 Nippon Telegr & Teleph Corp <Ntt> 頭部候補抽出方法、頭部候補抽出装置、頭部候補抽出プログラムおよびそのプログラムを記録した記録媒体
KR20100003913A (ko) * 2008-07-02 2010-01-12 삼성전자주식회사 3차원 영상 디스플레이를 이용한 커뮤니케이션 방법 및장치
JP5270285B2 (ja) * 2008-09-29 2013-08-21 大日本スクリーン製造株式会社 基板処理装置
JP5525202B2 (ja) * 2009-07-30 2014-06-18 株式会社構造計画研究所 動作分析装置、動作分析方法及び動作分析プログラム
WO2011077696A1 (ja) * 2009-12-22 2011-06-30 パナソニック株式会社 動作解析装置および動作解析方法
JP5177154B2 (ja) * 2010-02-04 2013-04-03 日本電気株式会社 標準作業実行支援装置、および標準作業実行支援方法
JP2011191836A (ja) * 2010-03-12 2011-09-29 Hitachi Ltd 装置操作情報分析装置および作業者作業内容分析方法
CN102395994B (zh) * 2010-03-18 2015-06-10 松下电器产业株式会社 全景图像处理装置及全景图像处理方法
JP5837508B2 (ja) * 2010-12-09 2015-12-24 パナソニック株式会社 姿勢状態推定装置および姿勢状態推定方法
US8929612B2 (en) * 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
JP5825906B2 (ja) * 2011-07-28 2015-12-02 三菱重工業株式会社 生産管理装置、工程分析方法および工程分析プログラム
WO2013035687A1 (ja) * 2011-09-05 2013-03-14 株式会社Tecapo 作業管理システム、作業管理端末、プログラム及び作業管理方法
US8457357B2 (en) * 2011-11-09 2013-06-04 Disney Enterprises, Inc. Relative pose estimation of non-overlapping cameras using the motion of subjects in the camera fields of view
KR20130078490A (ko) * 2011-12-30 2013-07-10 삼성전자주식회사 전자 장치 및 그의 제어 방법
US9058663B2 (en) * 2012-04-11 2015-06-16 Disney Enterprises, Inc. Modeling human-human interactions for monocular 3D pose estimation
JP2013250882A (ja) * 2012-06-01 2013-12-12 Sharp Corp 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム
WO2014112635A1 (ja) 2013-01-18 2014-07-24 株式会社東芝 動作情報処理装置
US9330296B2 (en) * 2013-03-15 2016-05-03 Sri International Recognizing entity interactions in visual media
JP5973380B2 (ja) * 2013-05-15 2016-08-23 株式会社日立製作所 生産指標抽出装置及びプログラム
CN105165004B (zh) * 2013-06-11 2019-01-22 夏普株式会社 摄影系统
US9843713B2 (en) * 2014-04-02 2017-12-12 Nebulys Technologies, Inc. Systems and methods for video communication
JP5866522B2 (ja) * 2014-07-08 2016-02-17 パナソニックIpマネジメント株式会社 施設管理支援装置、施設管理支援システムおよび施設管理支援方法
WO2016098265A1 (ja) * 2014-12-19 2016-06-23 富士通株式会社 動線描画方法、動線描画プログラム、動線描画装置、動作解析の処理方法、動作解析の処理プログラムおよび動作解析装置
US10037504B2 (en) * 2015-02-12 2018-07-31 Wipro Limited Methods for determining manufacturing waste to optimize productivity and devices thereof
JP2016157357A (ja) * 2015-02-26 2016-09-01 株式会社日立製作所 作業者品質管理方法及び作業者品質管理装置
JP6586824B2 (ja) * 2015-08-27 2019-10-09 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10732643B2 (en) * 2016-04-07 2020-08-04 Hitachi, Ltd. Control system, moving object, and control apparatus

Also Published As

Publication number Publication date
JP2019016226A (ja) 2019-01-31
US20190012621A1 (en) 2019-01-10
US10657477B2 (en) 2020-05-19
EP3425573A1 (en) 2019-01-09

Similar Documents

Publication Publication Date Title
JP6824838B2 (ja) 作業データ管理システム及び作業データ管理方法
US20210333771A1 (en) Automation management interface
CN107924173B (zh) 监视装置、监视系统及计算机可读存储介质
JP6903142B2 (ja) 異常検出装置、異常検出方法及びプログラム
JP5045770B2 (ja) プロセス解析システム
CN111308925B (zh) 信息处理装置、生产指示辅助方法
JP6717572B2 (ja) 作業分析システム及び作業分析方法
JP7272128B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体
JP6837852B2 (ja) 製造実績の可視化方法、画像処理装置及びプログラム
JP2022073627A (ja) 生産情報管理システムおよび生産情報管理方法
CN112749615A (zh) 技能评估装置、技能评估方法以及记录媒体
JP7460233B2 (ja) 情報処理装置、情報処理方法、プログラム、およびデータ構造
US20220092509A1 (en) Work Improvement Support Apparatus, and Work Improvement Support System
JP2021179981A (ja) 情報処理システム、情報処理装置およびプログラム
US20220245872A1 (en) Display control device, control method, and non-transitory computer readable medium
JP2021196909A (ja) 監視システム
JP7311319B2 (ja) 時系列データ表示装置
JP2020113019A (ja) 測定システム
JP7331572B2 (ja) 製造原価算出予測システム、製造原価算出予測方法、および製造原価算出予測プログラム
EP3805881B1 (en) Unified control system and method for machining of parts
TWI829908B (zh) 提高生產效率之支援系統、方法及電腦程式
CN111819506A (zh) 信息处理装置、控制方法和程序
WO2023286393A1 (ja) 情報処理システム及び情報処理方法
US20230288898A1 (en) Automation management interface
JP2024031497A (ja) 情報処理装置、プログラム、情報処理方法及び情報処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210113

R150 Certificate of patent or registration of utility model

Ref document number: 6824838

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150