JP6770464B2 - 製造管理方法、及び製造管理システム - Google Patents

Description

本発明は、製造管理方法、及び製造管理システムに関する。

製品等の製造現場においては、その安全性を確保すると共に、製造コストの削減、そのための生産効率の向上、また不良品を抑えることによる製品の品質向上が求められ、日々、現場における問題点の洗い出しやその解決が求められている。

一方、ネットワークやセンシング、解析などのＩＴ（Information Technology）の進化により、近年、製造現場でセンシングされたデータの統合管理や、見える化（可視化）、大規模データの解析技術の検討等が進んでいる。製造現場においては、一つの製品が製造されるまでに、複数の装置でその部材を処理する。また製造現場においては、装置だけでなく、複数の作業者が関わっている。そこで、装置、部材、及び作業者の情報を統合し、製品の完成、出荷に至るまでの製造プロセスを把握すること、すなわちトレーサビリティの強化が求められており、それが製品の品質や生産効率の改善に繋がると期待されている。

そのための従来技術として、例えば特許文献１には、食品工場において、被加工物の格納容器にIDタグを取り付けて、各工程の入力と出力でタグを読み取ることで、各被加工物がどの工程に送られているのかを把握する旨が開示されている。また、特許文献２には、カメラで撮影した映像から手などのオブジェクトを認識し、その動線をトラッキングすることにより、作業者などの人を含め、時系列に、オブジェクトの種類とその位置を把握する旨が開示されている。

特開２００５−３４６６１４号公報 特開２０１１−３４２３４号公報

しかし、特許文献１により管理される対象は、被加工物すなわち部材であり、その部材に対してどの作業者が加工に携わったかを紐付けることはできない。

一方、特許文献２の技術は、人の区別や部材の種類の判定は可能であるが、特許文献１で挙げたＩＤなどのように、オブジェクトを特定する情報を抽出することはできない。トレーサビリティを高めるためには、例えば、当該オブジェクトに関し、時系列にその処理工程や処理内容が管理されるトレーサビリティデータと、どの種類のオブジェクトがどの位置にいるのかを時系列に示すデータとの統合が必要である。

本発明はこのような背景に鑑みてなされたものであり、その目的は、製品の製造工程におけるトレーサビリティを高めることが可能な、製造管理方法、及び製造管理システムを提供することにある。

上記問題を解決するための本発明の一つは、部材に対して複数の処理を行うことにより製造される製品を管理する製造管理方法であって、プロセッサ及びメモリを備える情報処
理装置が、前記部材を処理した装置、前記処理を担当した作業員、及び前記処理が行われたタイミングを互いに対応づけた情報であるトレーサビリティ情報を記憶するトレーサビリティ情報記憶処理と、前記部材の処理の状況、及びその処理が行われたタイミングを対応づけた情報である処理状況情報を記憶する処理状況情報記憶処理と、前記トレーサビリティ情報及び前記処理状況情報に基づき、同一のタイミングにおける、前記処理と、前記装置又は前記作業員と、前記処理の状況との組み合わせをオブジェクト統合データとして生成するオブジェクト統合データ生成処理と、前記生成したオブジェクト統合データの内容を出力するオブジェクト統合データ出力処理と、を実行する。

本発明によれば、製品の製造工程におけるトレーサビリティを高めることができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

図１は、第１実施形態に係る製造管理システム１の構成の一例を説明する図である。 図２は、各情報処理装置が備えるハードウェアを説明する図である。 図３は、製造管理サーバ１０８が備える機能の一例を説明する図である。 図４は、部材トレーサビリティデータ２０８の一例を示す図である。 図５は、作業者トレーサビリティデータ２０９の一例を示す図である。 図６は、映像データ２１０の一例を示す図である。 図７は、映像抽出データ２１１の一例を示す図である。 図８は、第１事象確率モデルの一例を示す図である。 図９は、第２事象確率モデルの一例を示す図である。 図１０は、装置メタデータ２１５の一例を示す図である。 図１１は、部材メタデータ２１６の一例を示す図である。 図１２は、作業者メタデータ２１７の一例を示す図である。 図１３は、製造管理処理の一例を説明するフローチャートである。 図１４は、オブジェクト座標マッピング処理の一例を説明するフローチャートである。 図１５は、ｓ３０２の処理の一例を説明する図である。 図１６は、ｓ３０３の処理の一例を説明する図である。 図１７は、ｓ３０４の処理の一例を説明する図である。 図１８は、同一オブジェクト推定処理の一例を説明するフローチャートである。 図１９は、同一オブジェクト推定処理の一例を説明する図である。 図２０は、オブジェクト統合データ関連性推定処理の一例を説明するフローチャートである。 図２１は、オブジェクト間関連性推定処理の一例を説明する図である。 図２２は、アラート処理の一例を説明する図である。 図２３は、検索処理の一例を説明する図である。 図２４は、可視化処理の一例を説明する図である。 図２５は、分析処理の一例を説明する図である。 図２６は、第２実施形態に係る製造管理システム１の構成の一例を説明する図である。 図２７は、環境センシングデータ１５０２の一例を示す図である。 図２８は、第２実施形態に係る同一オブジェクト推定処理の一例を説明する図である。 図２９は、オブジェクト環境入出力推定処理の一例を説明する図である。 図３０は、オブジェクト環境入出力推定処理の一例を説明する図である。 図３１は、第２実施形態に係るアラート処理を説明する図である。 図３２は、第３実施形態に係る製造管理システム１の構成の一例を説明する図である。 図３３は、第３実施形態に係る同一オブジェクト推定処理及び環境入出力推定処理を説明する図である。 図３４は、第３実施形態に係る可視化処理の一例を説明する図である。 図３５は、第４実施形態に係る製造管理システム１の構成の一例を説明する図である。 図３６は、第４実施形態に係る同一オブジェクト推定処理、オブジェクト間関連性推定処理、及び環境入出力推定処理の一例を説明する図である。

以下、本発明に係る製造管理システムの各実施形態について説明する。
各実施形態における製造管理システムは、いずれも、部材に対して複数の処理を行う（工程を実施する）ことにより製造される製品を管理する情報処理システムである。これらの製造管理システムは、前記部材、前記部材を処理した装置、前記部材を担当した作業員、及び前記処理が行われたタイミングを互いに対応づけた情報であるトレーサビリティ情報、及び、前記装置により行われた処理の状況、及びその処理が行われたタイミングを対応づけた情報である処理状況情報に基づき、製品の製造管理を行う。

なお、本実施形態における部材は、完成品である製品と同一の物品であってもよいし、完成品である製品を構成する複数の部品であってもよい。

−−第１実施形態−−
まず、第１実施形態の製造管理システムは、前記の処理状況情報として、画像データを使用するものである。すなわち、前記処理状況情報は、前記部材の処理の状況が撮影された画像の情報を含む。

図１は、第１実施形態に係る製造管理システム１の構成の一例を説明する図である。同図に示すように、製造管理システム１は、製造管理サーバ１０８、カメラノード１０９、出力デバイスノード１１３、品質管理サーバ１０１、生産管理サーバ１０３、及びクライアントノード１０６の各情報処理装置（コンピュータ）を含んで構成されている。

これらの各情報処理装置の間は、ネットワーク１０５を介して通信可能に接続されている。このネットワーク１０５は、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide
Area Network）、インターネット、専用のネットワーク、携帯電話網、光ファイバなど
の、有線又は無線の通信線又は通信網である。

品質管理サーバ１０１は、製造された製品の品質を管理しているサーバであり、具体的には、製造された製品の品質に関する情報である品質実績データ１０２を記憶している。

生産管理サーバ１０３は、製造された製品の種類や数量を管理しているサーバであり、具体的には、製造された製品の種類や数量に関する情報である生産実績データ１０４を記憶している。

カメラノード１０９は、製品の生産現場における物又は人（具体的には、部材、部材の処理を行う装置、部材を担当する作業員等。以下、オブジェクトという。）を撮影し、その画像を取得するカメラ１１２と通信可能に接続している。カメラ１１２は、製造現場の各所に設けられ、各製造工程の様子を随時（例えば、所定の時間間隔や所定のタイミング
で）撮影し、所定の画像データを生成している。なお、カメラノード１０９は、各カメラ１１２の設置場所に関する情報や、各カメラ１１２の撮影範囲を示す情報を記憶している。

カメラノード１０９は、その機能として映像解析部１１１を備える。映像解析部１１１は、カメラ１１２が撮影した画像を取得し、取得した画像の解析（具体的には、例えば、オブジェクトの解析）を実施する。画像解析は、例えば、Ｗｅｂ（World Wide Web）等から取得した各種画像に基づく統計的機械学習によって行われる。

出力デバイスノード１１３は、パトランプやスマートウォッチ、プロジェクタ、ディスプレイ等の出力デバイス１１５と通信可能に接続している。カメラノード１０９は、その機能としてアラート出力部１１４を備え、アラート出力部１１４は、製品の製造に関する警告の情報（以下、アラート情報という）を出力デバイス１１５に送信する。出力デバイス１１５は、受信したアラート情報を出力する。

製造管理サーバ１０８は、製品の製造を管理するサーバであり、トレーサビリティ情報と、処理状況情報とに基づいて製品の製造管理を行う。また、製造管理サーバ１０８は、例えば、カメラノード１０９が取得した画像を受信し、また、アラート情報を出力デバイスノード１１３に送信する。

クライアントノード１０６は、他の情報処理装置に記憶されている各種情報にアクセスするためのサーバである。クライアントノード１０６は、その機能としてサーバ問合わせ部１０７を備え、サーバ問合わせ部１０７は、品質管理サーバ１０１、生産管理サーバ１０３、及び製造管理サーバ１０８と情報の送受信を行う。

なお、ここで、各情報処理装置（品質管理サーバ１０１、生産管理サーバ１０３、クライアントノード１０６、製造管理サーバ１０８、カメラノード１０９、及び出力デバイスノード１１３）が備えるハードウェアについて説明しておく。図２は、各情報処理装置が備えるハードウェアを説明する図である。同図に示すように、各情報処理装置は、ＣＰＵ（Central Processing Unit）等のプロセッサ２０１と、ＲＡＭ（Random Access Memory
）、ＲＯＭ（Read Only Memory）等の主記憶装置１１０と、ＨＤＤ（Hard Disk Drive）
、ＳＳＤ（Solid State Drive）等の補助記憶装置２０２と、キーボード、マウス、タッ
チパネル等からなる入力装置１４と、モニタ（ディスプレイ）等からなる出力装置１５と、他の情報処理装置と通信を行う通信装置２０３とを備える。

次に、製造管理サーバ１０８の機能について説明する。
図３は、製造管理サーバ１０８が備える機能の一例を説明する図である。同図に示すように、製造管理サーバ１０８は、オブジェクト座標マッピング部２０５、同一オブジェクト推定部２０６、オブジェクト間関連性推定部２０７、記憶部２１８、及びオブジェクト統合データ出力部２２１を備える。

オブジェクト座標マッピング部２０５は、トレーサビリティデータ情報に含まれている、オブジェクトの位置の情報を、実空間上の位置の情報に変換する。

同一オブジェクト推定部２０６は、トレーサビリティ情報、及び作業情報状況情報の統合を行う。具体的には、同一オブジェクト推定部２０６は、オブジェクト統合データ生成部２０６２を備える。

オブジェクト統合データ生成部２０６２は、前記トレーサビリティ情報及び前記処理状況情報に基づき、同一のタイミングにおける、前記処理と、前記装置又は前記作業員と、
前記処理の状況との組み合わせをオブジェクト統合データとして生成する。

なお、前記トレーサビリティ情報は、前記部材の処理が行われた位置、及び前記処理を担当した作業員の位置を含む情報である。この場合、前記オブジェクト統合データ生成処理は、前記部材の処理が行われた位置、及び前記処理を担当した作業員の位置に基づき、同一のタイミング及び同一の場所における、前記処理と、前記装置又は前記作業員と、前記処理の状況との組み合わせを前記オブジェクト統合データとして生成する。

オブジェクト間関連性推定部２０７は、複数の前記オブジェクト統合データを取得し、取得した前記オブジェクト統合データの間の関連性を推定する。

次に、記憶部２１８は、トレーサビリティ情報記憶部２１８１、処理状況情報記憶部２１８２、及び事象確率モデル記憶部２１８３を備える。

トレーサビリティ情報記憶部２１８１は、前記部材を処理した装置、前記処理を担当した作業員、及び前記処理が行われたタイミングを互いに対応づけた情報であるトレーサビリティ情報を記憶する。

ここで、部材トレーサビリティデータ２０８、及び作業者トレーサビリティデータ２０９について説明する。

図４は、部材トレーサビリティデータ２０８の一例を示す図である。同図に示すように、部材トレーサビリティデータ２０８は、時刻を特定する情報が格納される時刻２０８１、部材を識別する情報（以下、部材ＩＤという）が格納される部材ＩＤ２０８２、部材ＩＤ２０８２の部材を処理した装置を識別する情報（以下、装置ＩＤという）が格納される装置ＩＤ２０８３、及び、装置ＩＤ２０８３の装置が行う処理の内容（例えば、部材の運搬、部材の塗装）を特定する情報が格納される処理内容２０８４の各項目を有する、少なくとも１つ以上のレコードから構成されている。

このように、部材トレーサビリティデータ２０８は、部材、その部材を処理した装置、その処理の内容、及びその処理が行われたタイミングを互いに対応づけて記憶した情報である。

次に、図５は、作業者トレーサビリティデータ２０９の一例を示す図である。同図に示すように、作業者トレーサビリティデータ２０９は、時刻を特定する情報が格納される時刻２０９１、作業員を特定する情報（以下、作業者ＩＤという）が格納される作業者ＩＤ２０９２、及び、作業者ＩＤ２０９２の作業員が担当した部材を処理した装置を識別する情報（装置ＩＤ）が格納される装置ＩＤ２０９３の各項目を有する、少なくとも１つ以上のレコードから構成されている。

このように、作業者トレーサビリティデータ２０９は、作業者（作業員）、その作業者が担当した部材を処理した装置、及びその作業が行われたタイミングを互いに対応づけて記憶した情報である。

続いて、図３に示すように、処理状況情報記憶部２１８２は、前記部材の処理の状況、及びその処理が行われたタイミングを対応づけた情報である処理状況情報を記憶する。具体的には、処理状況情報は、映像データ２１０、及び映像抽出データ２１１に記憶される。
ここで、映像データ２１０、及び映像抽出データ２１１について説明する。

図６は、映像データ２１０の一例を示す図である。同図に示すように、映像データ２１０はカメラ１１２が生成した画像データであり、映像データ２１０には、装置２１０１、装置２１０１を使用して作業を行っている作業員２１０２、及び、装置２１０１が処理を行っている部材２１０３のうち少なくとも１つ以上が記録（撮影）される。なお、映像データ２１０には、画像が生成された時刻の情報２１０４が付帯している。

次に、図７は、映像抽出データ２１１の一例を示す図である。同図に示すように、映像抽出データ２１１は、映像データ２１０から抽出された処理状況情報（画像情報）を記憶したテーブルであり、具体的には、画像が生成された時刻を特定する情報が格納される時刻２１１１、映像データ２１０に含まれているオブジェクトの種類を識別する情報（以下、オブジェクト種別という）が格納されるオブジェクト種別２１１３、オブジェクト種別２１１３のオブジェクトが撮影されている、映像データ２１０上の位置（本実施形態では、二次元座標系で表されるものとする）を特定する情報が格納される位置２１１２、及び、映像データ２１０の画像情報から解析された、部材の処理の状況を示す情報（例えば、部材の梱包が行われている状況であることを示す「梱包」、部材を処理している装置から水が漏れていることを示す「水漏れ」）が格納される動作状態２１１４の各項目を有する、少なくとも１つ以上のレコードから構成されている。

このように、映像抽出データ２１１は、映像データ２１０上のオブジェクトの種類、そのオブジェクトの画像上の位置、その処理が行われた時刻、及び、映像データ２１０が示す処理の状況を互いに対応づけて記憶した情報である。

続いて、図３に示すように、事象確率モデル記憶部２１８３は、第１事象確率モデル記憶部２１８３１、及び第２事象確率モデル記憶部２１８３２を備える。

第１事象確率モデル記憶部２１８３１は、前記作業員、及び前記作業員が担当する処理が行われる前記部材の組み合わせが前記同一のタイミングにおいて生じる確率に関する情報である第１事象確率モデルを記憶する。この場合、前記オブジェクト統合データ生成部２０６２は、前記オブジェクト統合データ生成処理は、前記第１事象確率モデルに基づき前記オブジェクト統合データを生成する。

第２事象確率モデル記憶部２１８３２は、前記部材の処理の状況と、前記作業者又は前記部材との組み合わせが前記同一のタイミングにおいて生じる確率に関する情報である第２事象確率モデルを記憶する。この場合、前記オブジェクト間関連性推定部は、前記第２事象確率モデルに基づき前記オブジェクト統合データの間の関連性を推定する。

なお、図３に示すように、第１事象確率モデル、及び第２事象確率モデルは、事象確率モデル２１２に記憶されている。

ここで、事象確率モデル２１２の具体例について説明する。
図８は、第１事象確率モデルの一例を示す図である。同図に示すように、事象確率モデル２１２ａは、オブジェクトの実空間上の位置を示す情報が格納される位置２１２１（本実施形態では、製品の製造現場の空間に対して所定の三次元座標を設定し、オブジェクトがその三次元座標空間に存在する直方体状の物体であると仮定する。そして、その直方体の４つの頂点を前記三次元座標により指定してオブジェクトの実空間上の位置を表すものとする）、位置２１２１に存在するオブジェクトを識別する情報（以下、オブジェクトＩＤという）が格納されるオブジェクトＩＤ２１２２と、オブジェクトＩＤ２１２２のオブジェクトの種類（オブジェクト種別。例えば、作業者。）を特定する情報が格納されるオブジェクト種別２１２３と、位置２１２１の位置の近傍に存在する、オブジェクト種別２１２３のオブジェクトと異なる他のオブジェクト（以下、副オブジェクトという。例えば
、前記近傍に存在する装置により処理されている部材。）を識別する情報（以下、副オブジェクトＩＤという）が格納される副オブジェクトＩＤ２１２４と、部材の処理内容を示す情報が格納される付加情報２１２５と、位置２１２１、オブジェクトＩＤ２１２２、副オブジェクトＩＤ２１２４、及び付加情報２１２５の各内容により特定される事象が発生する確率（事象確率）が格納される確率２１２６の各項目とを有する、少なくとも１つ以上のレコードで構成される。

第１事象確率モデル２１２ａにおいては、位置２１２１、オブジェクトＩＤ２１２２、副オブジェクトＩＤ２１２４、及び確率２１２６の各項目に情報が格納されている。

図９は、第２事象確率モデルの一例を示す図である。同図に示すように、第２事象確率モデル２１２ｂは、第１事象確率モデル２１２ａと同様の項目を有するテーブルである。第２事象確率モデル２１２ｂにおいては、オブジェクトＩＤ２１２２、副オブジェクトＩＤ２１２４、付加情報２１２５、及び確率２１２６の各項目に情報が格納されている。

次に、記憶部２１８は、図３に示すように、オブジェクト統合データ２１３、オブジェクト間関連性データ２１４、装置メタデータ２１５、部材メタデータ２１６、作業者メタデータ２１７を記憶している。

ここで、装置メタデータ２１５について説明する。
図１０は、装置メタデータ２１５の一例を示す図である。装置メタデータ２１５は、各装置の属性に関する情報を格納している。装置メタデータ２１５は、装置ＩＤが格納される装置ＩＤ２１５１、装置ＩＤ２１５１の装置が設置されている実空間上の位置（本実施形態では、この実空間上の位置は、前記の事象確率モデル２１２の位置２１２１と同様の形式でに表されるものとする）を示す情報が格納される場所２１５２、及び、装置ＩＤ２１５１の装置の名称の情報が格納される装置名２１５３の各項目を有する、少なくとも１つ以上のレコードで構成されているデータベースである。

次に、部材メタデータ２１６について説明する。
図１１は、部材メタデータ２１６の一例を示す図である。部材メタデータ２１６は、各部材の属性に関する情報を格納している。部材メタデータ２１６は、部材ＩＤが格納されるオブジェクトＩＤ２１６２、オブジェクトＩＤ２１６２の部材の名称の情報が格納される部材名２１６３、オブジェクトＩＤ２１６２の部材の重量の情報が格納される重量２１６４、及びオブジェクトＩＤ２１６２の部材が処理された時刻を示す情報が格納される時刻２１６１の各項目を有する、少なくとも１つ以上のレコードで構成されている。

次に、作業者メタデータ２１７について説明する。
図１２は、作業者メタデータ２１７の一例を示す図である。作業者メタデータ２１７は、各作業者の属性に関する情報を格納している。作業者メタデータ２１７は、作業者ＩＤが格納される作業者ＩＤ２１７１、作業者ＩＤ２１７１の作業者の氏名等の情報が格納される作業者名２１７２、作業者ＩＤ２１７１の作業者の勤続年数を示す情報が格納される勤続年数２１７３の各項目を有する、少なくとも１つ以上のレコードで構成されている。

次に、図３に示すオブジェクト統合データ出力部２２１は、前記生成したオブジェクト統合データの内容を出力する。具体的には、例えば、前記オブジェクト統合データ出力処理は、前記推定した関連性を表す情報を出力する。

すなわち、オブジェクト統合データ出力部２２１は、検索部２０３、アラート処理部２０４、可視化部２０１、及び分析部２０２を備える。これらの処理の詳細は後述する。

以上に説明した各情報処理装置の機能は、各情報処理装置のハードウエアによって、もしくは、各情報処理装置のプロセッサが、プロセッサやメモリに記憶されているプログラムを読み出して実行することにより実現される。

＜処理＞
次に、製造管理システム１において行われる処理について説明する。

＜＜製造管理処理＞＞
図１３は、製造管理システム１において行われる、トレーサビリティ情報及び処理状況情報を統合することにより製品の製造を管理する処理（以下、製造管理処理という）の一例を説明するフローチャートである。なお、この処理は、例えば、製造管理サーバ１０８やクライアントノード１０６にユーザから所定の入力が行われたことを契機に開始される。

同図に示すように、まず、製造管理サーバ１０８は、トレーサビリティ情報及び処理状況情報に含まれる位置の情報を、実空間の位置の情報に変換する処理（以下、オブジェクト座標マッピング処理という）を実行する（ｓ１１）。オブジェクト座標マッピング処理の詳細は後述する。

次に、製造管理サーバ１０８は、オブジェクト座標マッピング処理が実行されたトレーサビリティ情報及び処理状況情報を統合し、オブジェクト統合データを生成する処理（オブジェクト統合データ取得処理という）を実行する（ｓ１２）。オブジェクト統合データ取得処理の詳細は後述する。

次に、製造管理サーバ１０８は、ｓ１２で統合された複数のオブジェクト統合データのうち、互いに関連性のあるオブジェクト統合データを推定する処理（以下、オブジェクト統合データ関連性推定処理という）を実行する（ｓ１３）。オブジェクト統合データ関連性推定処理の詳細は後述する。

そして、製造管理サーバ１０８は、オブジェクト統合データ関連性推定処理の結果に基づき、所定の警告を出力する処理（以下、アラート処理という）、所定の情報の検索を行う処理（以下、検索処理という）、製品の製造状況に関する所定の情報を図示する処理（以下、可視化処理という）、又は、製品の製造状況を分析する処理（以下、分析処理という）を実行する（ｓ１４−ｓ１７）。以上で、製造管理処理は終了する（ｓ１８）。

なお、ｓ１４−ｓ１７の処理のいずれを実行するかは、例えば、製造管理サーバ１０８やクライアントノード１０６が、実行する処理の種類の指定の入力をユーザから受け付けることにより行われる（例えば、クライアントノード１０６に所定のメニュー画面を表示させ、ユーザから入力を受け付ける）。

以下、製造管理処理における各処理の詳細を説明する。
＜＜オブジェクト座標マッピング処理＞＞
図１４は、オブジェクト座標マッピング処理の一例を説明するフローチャートである。同図に示すように、製造管理サーバ１０８は、部材を処理する各装置の実空間の座標を読み出した上で（ｓ３０１）、読み出した実空間の座標を用いて、部材トレーサビリティデータ２０８に記録されている各装置の画像上の位置を実空間の位置に変換することにより、新たな部材トレーサビリティデータ２０８（以下、新部材トレーサビリティデータ２０８ａという）を生成する（ｓ３０２）。

なお、図１５は、ｓ３０２の処理の一例を説明する図である。同図に示すように、新部
材トレーサビリティデータ２０８ａは、部材トレーサビリティデータ２０８及び装置メタデータ２１５に基づき生成され、具体的には、部材トレーサビリティデータ２０８の時刻２０８１に対応する時刻２０８１、部材トレーサビリティデータ２０８の部材ＩＤ２０８２に対応する部材ＩＤ２０８２、装置メタデータ２１５の場所２１５２に対応する場所２０８５、及び、部材トレーサビリティデータ２０８の処理内容２０８４に対応する処理内容２０８６の各項目を有する、少なくとも１つ以上のレコードで構成される。

例えば、製造管理サーバ１０８は、部材トレーサビリティデータ２０８のレコードのうち、「部材β」に対して「運搬」の処理を「装置１」が行うことを示すレコード４０４、及び、「部材γ」に対して「塗装」の処理を「装置１」が行うことを示すレコード４０５と、「装置１」の位置を記録している装置メタデータ２１５のレコード４０８とを統合することにより、新部材トレーサビリティデータ２０８ａのレコード４０６及びレコード４０７を生成する。

次に、図１４のｓ３０３に示すように、製造管理サーバ１０８は、作業者トレーサビリティデータ２０９に記録されている作業者の画像上の位置を実空間の位置に変換することにより、新たな作業者トレーサビリティデータ２０９（以下、新作業者トレーサビリティデータ２０９ａという）を生成する。

なお、図１６は、ｓ３０３の処理の一例を説明する図である。同図に示すように、新作業者トレーサビリティデータ２０９ａは、作業者トレーサビリティデータ２０９及び装置メタデータ２１５に基づき生成され、具体的には、作業者トレーサビリティデータ２０９の時刻２０９１に対応する時刻２０９１、作業者トレーサビリティデータ２０９の作業者ＩＤ２０９２に対応する作業者ＩＤ２０９２、及び、装置メタデータ２１５の場所２０８５に対応する場所２０９４の各項目を有する、少なくとも１つ以上のレコードで構成される。

例えば、製造管理サーバ１０８は、新作業者トレーサビリティデータ２０９ａに新たなレコード５０４を生成した上で、作業者トレーサビリティデータ２０９のレコードのうち、「作業者Ｃ」が「装置１」を担当していることを示すレコード５０３と、装置メタデータ２１５のレコードのうち、「装置１」の位置を記録しているレコード４０８とを統合し、統合した内容を前記で生成したレコード５０４に格納する。

次に、図１４のｓ３０４に示すように、製造管理サーバ１０８は、映像抽出データ２１１に登録されている各オブジェクトの画像上の位置を実空間の位置に変換することにより、新たな映像抽出データ２１１ａ（以下、新映像抽出データ２１１ａという）を生成する。なお、製造管理サーバ１０８は、例えば、カメラノード１０９から取得した各カメラ１１２の設置位置及び各カメラ１１２の撮影範囲の情報に基づき、各オブジェクトの実空間上の位置を算出する。以上で、オブジェクトマッピング処理は終了する（ｓ３０５）。

なお、図１７は、ｓ３０４の処理の一例を説明する図である。同図に示すように、生成される新映像抽出データ２１１ａは、映像抽出データ２１１の時刻２１１１に対応する時刻２１１１、映像抽出データ２１１の位置２１１２に対応する、オブジェクトの実空間上の座標が格納される位置２１１５、及び、映像抽出データ２１１のオブジェクト種別２１１３に対応するオブジェクト種別２１１３、及び、映像抽出データ２１１の動作状態２１１４に対応する動作状態２１１４の各項目を有する、少なくとも１つ以上のレコードで構成される。

例えば、製造管理サーバ１０８は、新映像抽出データ２１１ａに新たなレコード６０６を生成した上で、映像抽出データ２１１のレコード６０４における時刻２１１１の内容を
レコード６０６の時刻２１１１に格納し、レコード６０４のオブジェクト種別２１１３の内容をレコード６０６のオブジェクト種別２１１３に格納し、レコード６０４の動作状態２１１４の内容をレコード６０６の動作状態２１１４に格納し、レコード６０４の位置２１１２における（Xa,Ya）を、実空間上の位置である（X1,Y1,Z1）に変換し、変換した実
空間上の位置（X1,Y1,Z1）をレコード６０６の位置２１１５に格納する。同様に、製造管理サーバ１０８は、映像抽出データ２１１のレコード６０５の位置２１１２に格納されている（Xb,Yb）を、実空間上の位置である（X2,Y2,Z2）に変換し、変換した実空間上の位
置（X2,Y2,Z2）を新映像抽出データ２１１ａのレコード６０７の位置２１１５に格納する。

＜＜同一オブジェクト推定処理＞＞
次に、同一オブジェクト推定処理について説明する。
図１８は、同一オブジェクト推定処理の一例を説明するフローチャートである。同図に示すように、まず、製造管理サーバ１０８の同一オブジェクト推定部２０６は、時刻及び実空間上の座標が互いに近い、新部材トレーサビリティデータ２０８ａに登録されている部材と新映像抽出データ２１１ａに登録されている部材とを抽出する（ｓ７０１）。

そして同一オブジェクト推定部２０６は、第１事象確率モデル２１２ａを参照し、ｓ７０１で抽出した２つの部材が同一の部材であるか否かを判定する（ｓ７０２）。同一の部材であると判定された場合には（ｓ７０３：ＹＥＳ）、同一オブジェクト推定部２０６は、この部材に関するオブジェクト統合データを生成する（ｓ７０４）。具体的には、同一オブジェクト推定部２０６は、オブジェクト統合データ２１３に新たな１つのレコードを生成し、生成したレコードに、前記の同一の部材に関するオブジェクト統合データを格納する。その後は、ｓ７０６の処理が行われる。

一方、同一の部材であると判定されなかった場合には（ｓ７０３：ＮＯ）、同一オブジェクト推定部２０６は、２つの前記部材のそれぞれに関するオブジェクト統合データを個別に生成する（ｓ７０５）。具体的には、同一オブジェクト推定部２０６は、オブジェクト統合データ２１３に生成した２つのレコードに、前記の２つの部材に関するオブジェクト統合データをそれぞれ格納する。その後は、ｓ７０６の処理が行われる。

ｓ７０６において、同一オブジェクト推定部２０６は、時刻及び実空間上の座標が近い、新作業者トレーサビリティデータ２０９ａに登録されている作業者と新映像抽出データ２１１ａに登録されている作業者とを抽出する（ｓ７０６）。

そして、同一オブジェクト推定部２０６は、第１事象確率モデル２１２ａを参照し、ｓ７０６で抽出した２つの作業者が同一の作業者であるか否かを判定する（ｓ７０７）。同一の作業者であると判定された場合には（ｓ７０８：ＹＥＳ）、同一オブジェクト推定部２０６は、この作業者に関するオブジェクト統合データを生成する（ｓ７０９）。具体的には、同一オブジェクト推定部２０６は、オブジェクト統合データ２１３に新たな１つのレコードを生成し、生成したレコードに、前記の同一の作業者に関するオブジェクト統合データを格納する。以上で同一オブジェクト推定処理は終了する（ｓ７１１）。

一方、同一の作業者であると判定されなかった場合には（ｓ７０８：ＮＯ）、同一オブジェクト推定部２０６は、２つの前記の作業者のそれぞれに関するオブジェクト統合データを個別に生成する（ｓ７１０）。具体的には、同一オブジェクト推定部２０６は、オブジェクト統合データ２１３に新たに生成した２つのレコードに、前記の２つの作業者に関するオブジェクト統合データをそれぞれ格納する。以上で同一オブジェクト推定処理は終了する（ｓ７１１）。

なお、図１９は、同一オブジェクト推定処理の一例を説明する図である。同図に示すように、同一オブジェクト推定部２０６は、新部材トレーサビリティデータ２０８ａ、新映像抽出データ２１１ａ、及び第１事象確率モデル２１２ａに基づき、部材に関するオブジェクト統合データを生成する。また、同一オブジェクト推定部２０６は、新作業者トレーサビリティデータ２０９ａ、新映像抽出データ２１１ａ、及び第１事象確率モデル２１２ａに基づき、作業者に関するオブジェクト統合データを生成する。また、同一オブジェクト推定部２０６は、装置メタデータ２１５に基づき、各装置に関するオブジェクト統合データを生成する。そして、同一オブジェクト推定部２０６は、生成したこれらのオブジェクト統合データを、オブジェクト統合データ２１３に格納する。

例えば、図１５に示したように、新部材トレーサビリティデータ２０８ａのレコードに、時刻「９：００〜９：１０」及び座標（X0,Y0,Z0）が格納されているレコード４０６、及び、時刻「９：０５〜９：１５」及び座標（X0,Y0,Z0）が格納されているレコード４０７がある場合、新映像抽出データ２１１ａのレコード６０７における時刻２１１１には「９：０５」が格納され、位置２１１５には座標（X2,Y2,Z2）（座標（X0,Y0,Z0）に近い座標）が格納されているので、同一オブジェクト推定部２０６は、レコード６０７における部材とレコード４０６における部材との間では、時刻及び位置が近い（同一のタイミング及び同一の場所である）と推定する。

ここで、レコード４０６における座標は（X0,Y0,Z0）である。そして、座標が（X0,Y0,Z0）である第１事象確率モデル２１２ａのレコード８０３における部材は「部材β」であってその事象確率は「０．１」である一方、座標が（X0,Y0,Z0）である第１事象確率モデル２１２ａのレコード８０４における部材は「部材γ」であってその事象確率は「０．００１」である。したがって、同一オブジェクト推定部２０６は、より事象確率が高い、レコード８０３における「部材β」が座標（X0,Y0,Z0）に存在したと推定する。次に、第１事象確率モデル２１２ａのレコード６０７における時刻は「９：０５」である。そして、新作業者トレーサビリティデータ２０９ａには、時刻が「９：００〜９：１０」で座標が（X0,Y0,Z0)であるレコード５０４が存在する。したがって、同一オブジェクト推定部２
０６は、このレコード５０４が示す「作業者Ｃ」が、座標（X0,Y0,Z0）及び時刻「９：０５」に存在したと推定する。

続いて、同一オブジェクト推定部２０６は、オブジェクト統合データ２１３に新たなレコード８０６を生成し、生成したレコード８０６の時刻２１３１に「９：０５」を格納し、位置２１３２に（X0,Y0,Z0）を格納し、オブジェクトＩＤ２１３３に「部材β」を格納し、オブジェクト種別２１３４に「部材」を格納し、付加情報２１３５に、新映像抽出データ２１１ａのレコード６０７の動作状態２１１４の「水漏れ」と、新部材トレーサビリティデータ２０８ａのレコード４０６の処理内容２０８６の「運搬」とを格納する。

他方、新作業者トレーサビリティデータ２０９ａには、時刻「９：００〜９：１０」及び座標（X0,Y0,Z0）が格納されているレコード５０４があり、新映像抽出データ２１１ａには、時刻２１１１に「９：０５」が格納され、位置２１１５に（X1,Y1,Z1）（（X0,Y0,Z0）に近い座標）が格納されているレコード６０６がある。そこで、同一オブジェクト推定部２０６は、新映像抽出データ２１１ａのレコード６０６における部材とレコード５０４における作業者との間では、時刻及び位置が近い（同一のタイミング及び同一の場所である）と推定する。新映像抽出データ２１１ａには、これらの時刻及び位置における、作業者に係るレコードが他にないことから（不図示）、同一オブジェクト推定部２０６は、レコード５０４における「作業者Ｃ」が、映像データ２１０に撮影されている作業者であると判定した上で、オブジェクト統合データ２１３に新たなレコード８０５を生成し、生成したレコード８０５の時刻２１３１に「９：０５」を格納し、位置２１３２に（X1,Y1,Z1）を格納し、オブジェクトＩＤ２１３３に「作業者Ｃ」を格納し、付加情報２１３５に
、新映像抽出データ２１１ａのレコード６０６の動作状態２１１４に格納されている「ふらつき」を格納する。

また、同一オブジェクト推定部２０６は、オブジェクト統合データ２１３に新たなレコード８０７を生成し、新部材トレーサビリティデータ２０８ａのレコード４０７の内容を、生成した前記レコード８０７の各項目に格納する。

また、同一オブジェクト推定部２０６は、オブジェクト統合データ２１３に新たなレコード８０８を生成し、装置メタデータ２１５のレコード４０８の内容を、生成した前記レコード８０８の各項目に格納する。

＜＜オブジェクト統合データ関連性推定処理＞＞
次に、オブジェクト統合データ関連性推定処理について説明する。
図２０は、オブジェクト統合データ関連性推定処理の一例を説明するフローチャートである。同図に示すように、オブジェクト間関連性推定部２０７は、新部材トレーサビリティデータ２０８ａの内容を、オブジェクト間関連性データ２１４に格納する（ｓ９０１）。また、オブジェクト間関連性推定部２０７は、新作業者トレーサビリティデータ２０９ａの内容を、オブジェクト間関連性データ２１４に格納する（ｓ９０６）。

次に、オブジェクト間関連性推定部２０７は、オブジェクト統合データ２１３の各レコードを参照し、互いに時刻及び位置（実空間上の位置）が同一であるオブジェクトのデータが記録されているレコードを抽出する（ｓ９０２）。

そして、オブジェクト間関連性推定部２０７は、ｓ９０２で抽出したオブジェクトの間の関連性を第２事象確率モデル２１２ｂに基づき推定する（ｓ９０３）。オブジェクトの間に関連性があると推定された場合には（ｓ９０４：ＹＥＳ）、オブジェクト間関連性推定部２０７は、互いに関連性があるとされたオブジェクトに関するトレーサビリティ情報を、事象確率モデル２１２に登録されている部材処理に関する所定の情報と共に、オブジェクト間関連性データ２１４に格納する（ｓ９０５）。一方、オブジェクトの間に関連性がないと推定された場合には（ｓ９０４：ＮＯ）、オブジェクト間関連性推定処理は終了する（ｓ９０７）。

なお、図２１は、オブジェクト間関連性推定処理の一例を説明する図である。オブジェクト間関連性推定部２０７は、同図に示すように、新部材トレーサビリティデータ２０８ａ及び新作業者トレーサビリティデータ２０９ａの内容を、オブジェクト間関連性データ２１４に格納する。また、オブジェクト間関連性推定部２０７は、第２事象確率モデル２１２ｂに基づき、オブジェクト統合データ２１３の内容をオブジェクト間関連性データ２１４に格納する。

そして、同図に示すように、オブジェクト間関連性データ２１４は、時刻の情報が格納される時刻２１４１、オブジェクトＩＤ（主オブジェクトＩＤ）が格納される主オブジェクトＩＤ２１４２、主オブジェクトＩＤ２１４２のオブジェクト以外のオブジェクトのオブジェクトＩＤ（副オブジェクトＩＤ）が格納される副オブジェクトＩＤ２１４３、及び、主オブジェクトＩＤ２１４２のオブジェクト及び／又は副オブジェクトＩＤ２１４３のオブジェクトによって行われた処理の内容を特定する情報が格納される付加情報２１４４、の各項目を有する、少なくとも１つ以上のレコードで構成される。

同図の例では、新部材トレーサビリティデータ２０８ａのレコード４０６の内容が、オブジェクト間関連性データ２１４のレコード１００５及びレコード１００６に格納される。また、新作業者トレーサビリティデータ２０９ａのレコード５０４の内容が、オブジェ
クト間関連性データ２１４のレコード１００８に格納される。

レコード１００８に関しては、以下の通りである。まず、オブジェクト間関連性推定部２０７は、オブジェクト統合データ２１３におけるレコード８０５、レコード８０６、レコード８０７、及びレコード８０８にはいずれも、時刻２１３１に「９：０５」を含む時間帯が格納されているため、これらのレコードは互いに近接する時刻（同一のタイミング）のレコードであると判定する。また、これらのレコードにおける位置２１３２にも、（X0,Y0,Z0）、（X1,Y1,Z1）、又は（X2,Y2,Z2）という互いに近接する時刻のレコードが格納されているため、オブジェクト間関連性推定部２０７は、これらのレコードは互いに近接する位置（同一の場所）のレコードであると判定する。

ここで、オブジェクト間関連性推定部２０７は、レコード８０５及びレコード８０６の組み合わせを取得し、取得したこれらのレコードにおけるオブジェクトである「作業者Ｃ」及び「部材β」を抽出する。そして、オブジェクト間関連性推定部２０７は、第２事象確率モデル２１２ｂのレコードのうち、レコード１００３に「作業者Ｃ」及び「部材β」のオブジェクトの組み合わせが格納されていることを確認する。このレコード１００３の確率２１２６には「０．１」という高い確率（所定の閾値以上の確率）が格納されているので、オブジェクト間関連性推定部２０７は、オブジェクト間関連性データ２１４に新たなレコード１００７を生成した上で、生成したレコード１００７の時刻に「９：０５」を格納し、主オブジェクトＩＤ２１４２に「作業者Ｃ」を格納し、副オブジェクトＩＤ２１４３に「部材β」を格納し、さらに、付加情報２１４４に、レコード１００３の付加情報２１２５の内容である「梱包」を格納する。

また、オブジェクト間関連性推定部２０７は、レコード８０５及びレコード８０７の組み合わせを取得し、取得したこれらのレコードにおけるオブジェクトである「作業者Ｃ」及び「部材γ」を抽出する。そして、オブジェクト間関連性推定部２０７は、第２事象確率モデル２１２ｂのレコードのうち、レコード１００４に「作業者Ｃ」及び「部材γ」のオブジェクトの組み合わせが格納されていることを確認する。しかし、このレコード１００４の確率２１２６には「０．００１」という低い確率（所定の閾値よりも低い確率）が格納されているので、前述の場合と異なり、オブジェクト間関連性推定部２０７は、「作業者Ｃ」及び「部材β」に係るレコードをオブジェクト間関連性データ２１４に生成しない。

なお、「作業者Ｃ」と、「部材β」以外の部材（オブジェクト）との組み合わせを記録したレコードが第２事象確率モデル２１２ｂに存在しないとすれば、オブジェクト間関連性推定部２０７は、当該組み合わせに係るレコードはオブジェクト間関連性データ２１４に追加しない。

＜＜アラート処理＞＞
次に、アラート処理について説明する。
図２２は、アラート処理の一例を説明する図である。同図に示すように、アラート処理は、ユーザから予め入力されたオブジェクトに関するアラート条件１１０４に合致するオブジェクトの情報を、オブジェクト統合データ２１３及びオブジェクト間関連性データ２１４に基づき、アラート１１０５として出力する。

例えば、アラート条件１１０４が「作業者が10kg以上の部材運搬時にふらつき」である場合、まず、アラート処理部２０４は、オブジェクト統合データ２１３のレコードから、オブジェクト種別２１３４に「作業者」が格納され、付加情報２１３５に「ふらつき」が格納されているレコード８０５を特定し、特定したレコード８０５のオブジェクトＩＤ２１３３に格納されている「作業者Ｃ」を取得する。次に、アラート処理部２０４は、オブ
ジェクト間関連性データ２１４のレコードから、主オブジェクトＩＤ２１４２に「作業者Ｃ」が格納されているレコード１００７を特定し、特定したレコード１００７の副オブジェクトＩＤ２１４３の内容である「部材β」を取得する。アラート処理部２０４は、オブジェクト統合データ２１３を参照することにより、前記で取得した「部材β」のオブジェクト種別が「部材」であることを確認した上で、部材メタデータ２１６を参照することにより、前記で取得した「部材β」の重量（「１０ｋｇ」）を取得する。

そして、アラート処理部２０４は、取得した重量が、アラート条件１１０４が示す「１０ｋｇ以上」を満たすので、その旨を示すアラート１１０５を、製造管理サーバ１０８又はクライアントノード１０６等の出力装置に出力する。

このように、アラート処理は、処理状況情報及びトレーサビリティデータから、部材や作業者等の情報を把握し、これらが所定の条件（例えば、10kg以上の部材の運搬時に作業員がふらついているか）を満たしているか否かに基づいてアラートを発するので、不良製品の製造の防止やその原因の早期把握を可能とし、製造される製品の品質を向上させることができる。

＜＜検索処理＞＞
次に、検索処理について説明する。
図２３は、検索処理の一例を説明する図である。同図に示すように、検索処理は、ユーザにより予め入力された検索クエリ１２０１に合致するオブジェクトの情報を、オブジェクト統合データ２１３及びオブジェクト間関連性データ２１４に基づき、検索結果１２０２として出力する。

例えば、検索クエリ１２０１が「部材βを梱包した作業者」である場合、検索部２０３は、オブジェクト間関連性データ２１４のレコードのうち副オブジェクトＩＤ２１４３に「部材β」が格納されているレコード１００７を特定し、特定したレコード１００７の付加情報２１４４に「梱包」が格納されている場合には、そのレコード１００７の主オブジェクトＩＤ２１４２の内容である「作業者Ｃ」を取得する。そして、検索部２０３は、オブジェクト統合データ２１３を参照することにより、「作業者Ｃ」のオブジェクト種別が「作業者」であることを確認し、その「作業者Ｃ」に関する情報を検索結果１２０２として出力する。

＜＜可視化処理＞＞
次に、可視化処理について説明する。
図２４は、可視化処理の一例を説明する図である。同図に示すように、可視化部２０１は、各オブジェクトが撮影された映像データ２１０を出力装置等に出力し、出力した映像データ２１０に対して、ユーザからオブジェクトの指定（入力）を受け付ける。そして可視化部２０１は、指定を受け付けたオブジェクト、及びこのオブジェクトに関連する情報を出力する。

例えば、時刻「９：０５」に実空間上の位置（X1,Y1,Z1）で撮影された映像データ２１０が出力されている出力装置の画面に対して、ユーザから、ある作業員２１０２（以下、本段落において指定作業員という）に対する指定がなされた場合（例えば、タッチパネル画面に対して指定がなされた場合）、可視化部２０１は、オブジェクト統合データ２１３のレコードから、指定作業員の情報が格納されているレコード８０５を特定する。そして可視化部２０１は、特定したレコード８０５のオブジェクトＩＤ２１３３である「作業者Ｃ」を取得し、取得した「作業者Ｃ」の属性の情報（作業者名「Yamada」、勤続年数「２０」）を、作業者メタデータ２１７のレコード１３０９から取得する。そして、可視化部２０１は、取得した属性の情報を、製造管理サーバ１０８又はクライアントノード１０６
等の出力装置に出力する。

このように、可視化処理により、ユーザは、指定したオブジェクトに関連する情報を容易に把握することができる。

＜＜分析処理＞＞
次に、分析処理について説明する。
図２５は、分析処理の一例を説明する図である。同図に示すように、分析部２０２は、部材の品質に関する実績値を記憶した品質実績データ１４０１や、部材の生産量に関する実績値を記憶した生産実績データ１４０２といった部材の実績に関する情報と、オブジェクト統合データ２１３やオブジェクト間関連性データ２１４といったオブジェクトに関する情報とに基づき、所定のオブジェクト間に関する関連性分析１４０３を行い、その結果を出力する。

例えば、分析部２０２は、ユーザから、部品の品質と作業者との間の関係性を分析する旨の指定の入力を受け付けた場合、同図に示すように、品質実績データ１４０１のレコードから、品質検査が「不良」であった部材が記録されているレコード１４０５（「部材β」のレコード）を特定した後、オブジェクト間関連性データ２１４のレコードのうち、レコード１４０５の「部材β」のオブジェクトＩＤが副オブジェクトＩＤ２１４３に格納されているレコード１００７を取得する。次に分析部２０２は、取得したレコード１００７の主オブジェクトＩＤ２１４２に格納されている「作業者Ｃ」を取得する。そして分析部２０２は、取得したこれらの情報に基づき関連性分析１４０３を行う。そして分析部２０２は、「作業者Ｃ」は「部材β」の担当をした場合において当該部材の「不良」を生じさせやすい関係にある旨の分析結果１４０４を生成し、生成した分析結果１４０４を、製造管理サーバ１０８又はクライアントノード１０６等の出力装置に出力する。

このように、分析処理は、オブジェクトの間の関連性を推定し、その結果を出力するので、ユーザは、オブジェクト間の関係を正確に把握することができる。これにより、例えば、不良の部材と関連する作業者を特定することができるようになるので、各部材の不良の要因を究明し、製品の生産効率の向上を図ることができる。

以上に説明してきたように、本実施形態の製造管理システム１は、部材、装置、作業員、及び処理が行われたタイミングを互いに対応づけたトレーサビリティ情報と、処理状況情報とに基づき、同一のタイミングにおける、処理と、装置または作業員と、処理の状況との組み合わせをオブジェクト統合データとして生成し、生成したオブジェクト統合データの内容を出力するので、ユーザは、部材の処理や作業員に関する履歴だけでなく、これらの処理が行われた際の状況を正確に知ることができる。これにより、製品の製造ラインにおけるトレーサビリティを向上させることができる。例えば、製品の部材に対して、どの作業者がどのような処理を行ったのかを容易かつ正確に把握することができ、製造ラインにおけるトレーサビリティが向上する。

また、本実施形態の製造管理システム１においては、トレーサビリティ情報は、装置による処理が行われた位置、及び部材を担当した作業員の位置を含む情報であり、これらの情報に基づき、同一のタイミング及び同一の場所における前記の組み合わせをオブジェクト統合データとして生成するので、それぞれ異なる位置において行われる処理の状況を正確に把握することができる。

また、本実施形態の製造管理システム１は、作業員、及び作業員により担当される部材の組み合わせが同一のタイミングにおいて生じる確率に関する第１事象確率モデルに基づきオブジェクト統合データを生成するので、処理の状況を正確に反映したオブジェクト統
合データを生成することができる。これにより、製品の製造ラインにおけるトレーサビリティの精度をより向上させることができる。

また、本実施形態の製造管理システム１において、処理状況情報は、工程において行われた作業の状況が撮影されている画像の情報を含むので、画像に基づき、作業者の作業や工程の状況を容易かつ具体的に知ることができる。

また、本実施形態の製造管理システム１は、複数のオブジェクト統合データを取得し、取得したオブジェクト統合データの間の関連性を推定し、推定した関連性を表す情報を出力するので、ユーザは、互いに関連する複数のオブジェクト間の関係を正確に把握することができる。これにより、製品の製造ラインにおけるトレーサビリティの精度を向上させることができる。

また、本実施形態の製造管理システム１は、処理の状況と、作業者又は部材との組み合わせが同一のタイミングにおいて生じる確率に関する第２事象確率モデルに基づきオブジェクト統合データの間の関連性を推定するので、オブジェクト間の関連性を正確に推定することができる。これにより、製品の製造ラインにおけるトレーサビリティの精度をより向上させることができる。

また、本実施形態の製造管理システム１では、処理状況情報は、処理の状況が撮影された画像の情報を含んでいるので、装置による部材の処理の状況を正確に把握することができる。

−−第２実施形態−−
以下、第２実施形態に係る製造管理システムについて図面を用いて説明する。ここで、第２実施形態における製造管理システムでは、前記処理状況情報は、前記部材の処理に関連して発生した音、温度、匂い、人又は物の速度、風速、若しくは気圧のいずれかに関する情報を含む。以下、本実施形態では、処理状況情報を環境センシング情報という。

以下では、第２実施形態に係る製造管理システムについて、第１実施形態の製造管理システムと異なる点を説明する。

＜装置構成＞
図２６は、第２実施形態に係る製造管理システム１の構成の一例を説明する図である。同図に示すように、本実施形態に係る製造管理システム１は、第１実施形態におけるカメラノード１０９の代わりに、センサノード１５０１を備える。

センサノード１５０１は、第１実施形態のカメラ１１２の代わりに、環境センシング情報を取得する各ノードと接続している。すなわち、センサノード１５０１は、音声の情報を取得するマイク１５０３、温度の情報を取得する温度センサ１５０４、オブジェクトの加速度を取得する加速度センサ１５０５、外気の匂いに関する情報を取得する匂いセンサ１５０６、風向、風量等の情報を取得する風量センサ１５０７、及び外気の圧力を取得する気圧センサ１５０８（以下、これらを総称してセンサ群という）と通信可能に接続している。センサ群は、例えば、各部材を処理する装置の近傍や、各作業員の作業場所に設けられる。

＜機能＞
センサノード１５０１は、その機能としてセンサ前処理部１５０１１を備え、センサ前処理部１５０１１は、センサ群が取得した環境センシング情報を受信し、受信した環境センシング情報を製造管理サーバ１０８に送信する。

また、第２実施形態に係る製造管理サーバ１０８は、第１実施形態における映像データ２１０及び映像抽出データ２１１の代わりに、環境センシングデータ１５０２を記憶している。

ここで、図２７は、環境センシングデータ１５０２の一例を示す図である。同図に示すように、環境センシングデータ１５０２は、環境センシング情報が取得された位置を特定する情報が格納される位置１５０４、環境センシング情報を取得した装置（センサ）を識別する情報（以下、センサＩＤという）が格納されるセンサＩＤ１５０５、センサＩＤ１５０５のセンサが取得した環境センシング情報が示す値が格納されるセンサ値１５０６、及び、センサ値１５０６の値が取得された時刻を特定する情報が格納される時刻１５０３、の各項目を有する、少なくとも１つ以上のレコードで構成される。

次に、図２６に示すように、第２実施形態に係る製造管理サーバ１０８は、第１実施形態のオブジェクト間関連性推定部２０７の代わりに、オブジェクト環境入出力推定部２５１を備える。

オブジェクト環境入出力推定部２５１は、トレーサビリティ情報及び環境センシング情報に基づき、同一のタイミングにおける処理と、装置または作業員と、処理の状況との組み合わせをオブジェクト統合データとして生成する。

＜処理＞
以下では、第１実施形態における製造管理システム１と異なる処理について説明する。

＜＜同一オブジェクト推定処理＞＞
まず、同一オブジェクト推定部２０６によって行われる、第２実施形態に係る同一オブジェクト推定処理について説明する

図２８は、第２実施形態に係る同一オブジェクト推定処理の一例を説明する図である。同図に示すように、同一オブジェクト推定部２０６は、新部材トレーサビリティデータ２０８ａ、及び新作業者トレーサビリティデータ２０９ａに基づき、オブジェクト統合データ２１３を生成する。

例えば、図４に示したように、新部材トレーサビリティデータ２０８ａのレコードに、時刻「９：００〜９：１０」及び座標（X0,Y0,Z0）が格納されているレコード４０６が存在し、また、図５に示したように、新作業者トレーサビリティデータ２０９ａのレコードに、時刻「９：００〜９：１０」及び座標（X0,Y0,Z0）が格納されているレコード５０４が存在する場合を想定する。

この場合、同一オブジェクト推定部２０６は、レコード４０６及びレコード５０４における時刻及び位置は互いに近い（同一のタイミング及び同一の場所である）と推定し、オブジェクト統合データ２１３に新たなレコード１８１４及びレコード１８１５を生成し、生成したレコード１８１４及びレコード１８１５に、レコード４０６及びレコード５０４の内容を格納する。

一方、新部材トレーサビリティデータ２０８ａにおいて時刻が「９：０５〜９：１５」であり座標が（X0,Y0,Z0）であるレコード４０７に関しては、このレコード４０７に対応する新作業者トレーサビリティデータ２０９ａのレコード（すなわち時刻及び位置が近いレコード）は存在しない。

そこで、同一オブジェクト推定部２０６は、オブジェクト統合データ２１３に新たなレコード１８１６を生成し、生成したレコード１８１６に、新部材トレーサビリティデータ２０８ａのレコード４０７の内容を格納する。

＜＜オブジェクト環境入出力推定処理＞＞
次に、オブジェクト環境入出力推定部２５１によって行われる処理（以下、オブジェクト環境入出力推定処理という）について説明する。

図２９は、オブジェクト環境入出力推定処理の一例を説明する図である。同図に示すように、オブジェクト環境入出力推定部２５１は、オブジェクト統合データ２１３及び環境センシングデータ１５０２の各レコードを参照し、互いに時刻及び位置が同一である（同一のタイミング及び同一の場所である）、オブジェクト統合データ２１３のレコードと環境センシングデータ１５０２のレコードとを抽出する（ｓ１６０１）。

そして、オブジェクト環境入出力推定部２５１は、ｓ１６０１で抽出した２つのレコードの間の関連性を事象確率モデル２１２に基づき推定する（ｓ１６０２）。そして、オブジェクト間関連性推定部２０７は、前記のオブジェクト統合データ２１３のレコードに、前記の環境センシングデータ１５０２のレコードの内容を追加する（ｓ１６０３）。以上でオブジェクト環境入出力推定処理は終了する（ｓ１６０４）。

なお、図３０は、オブジェクト環境入出力推定処理の一例を説明する図である。同図に示すように、オブジェクト環境入出力推定処理は、オブジェクト統合データ２１３、及び環境センシングデータ１５０２に基づき、事象確率モデル２１２を参照しながら、新たなオブジェクト統合データ２１３を生成する（更新する）。

例えば、図２８に示したように、オブジェクト統合データ２１３のレコード１８１４における時刻２１３１に「９：００〜９：１５」が格納され、位置２１３２に（X0,Y0,Z0）が格納され、また、図２７に示したように、環境センシングデータ１５０２のレコード１８０３の時刻１５０３に「９：０５」が格納され、位置１５０４に座標（X3,Y3,Z3）（座標（X3,Y3,Z3）は座標（X0,Y0,Z0）に近い）が格納されている場合を想定する。

この場合、オブジェクト環境入出力推定部２５１は、レコード１８１４及びレコード１８０３は、時間及び位置が近い（同一のタイミング及び同一の場所である）と推定する。

そして、オブジェクト環境入出力推定部２５１は、事象確率モデル２１２を参照する。本実施形態における事象確率モデル２１２には、オブジェクト種別２１２３、付加情報２１２５、及び確率２１２６の各項目に情報が格納されている。

ここで、環境センシングデータ１５０２のレコード１８０３のセンサ値１５０６には「音１」が格納されているのに対応して、付加情報２１２５に「音１」が格納されている事象確率モデル２１２のレコードは、レコード１８０５、レコード１８０５、レコード１８０６、及びレコード１８０７である。そして、これらのレコードのうち、確率２１２６に格納されている事象確率が最も高いレコードはレコード１８０５である（「０．５」）ので、オブジェクト環境入出力推定部２５１は、このレコード１８０５のオブジェクト種別２１２３を参照することで、オブジェクト種別として「作業者」を取得する。

そしてオブジェクト環境入出力推定部２５１は、取得したオブジェクト種別（「作業者」）が、オブジェクト統合データ２１３のレコード１８１４のオブジェクト種別２１３４の内容と一致することを確認した上で、オブジェクト統合データ２１３のレコード１８１４の付加情報２１２５に、前記の「音１」を追加する。

これと同様の処理により、オブジェクト環境入出力推定部２５１は、オブジェクト統合データ２１３のレコード１８１６、環境センシングデータ１５０２のレコード１８０４のセンサ値１５０６の「音２」、及び事象確率モデル２１２のレコード１８０８に基づき、オブジェクト統合データ２１３のレコード１８１６の付加情報２１２５に、前記の「音２」を追加する。

なお、オブジェクト統合データ２１３のレコード１８１５については、時間及び位置が近い環境センシングデータ１５０２のレコードが存在しないため、オブジェクト環境入出力推定部２５１は、レコード１８１５の付加情報２１２５に環境センシング情報を追加しない。

＜＜アラート処理＞＞
次に、アラート処理について説明する。
図３１は、第２実施形態に係るアラート処理を説明する図である。同図に示すように、アラート処理は、ユーザから予め入力されたオブジェクトに関するアラート条件１９０１に合致するオブジェクトの情報を、オブジェクト統合データ２１３に基づき検索し、アラート１９０２（例えば、所定のメッセージや音）を出力する。

例えば、アラート条件１９０１が「装置１が運搬時、音２を出している」である場合、まず、アラート処理部２０４は、オブジェクト統合データ２１３のレコードから、付加情報２１３５に「音２」が格納され、オブジェクト種別２１３４に「装置」が格納されているレコードを検索して該当するレコード１８１６を特定し、特定したレコード１８１６のオブジェクトＩＤ２１３３に格納されている「装置１」を取得する。

そして、アラート処理部２０４は、オブジェクトの状況が、アラート条件１９０１が示す条件を満たしていると判定し、その旨を示すアラート１９０２を、製造管理サーバ１０８又はクライアントノード１０６等の出力装置に出力する。

このように、アラート処理は、オブジェクトに関する処理の状況（例えば、環境センシング情報により把握される部材の処理の状況）が所定の条件を満たしている場合にアラートを発するので、ユーザは、部材や製品の不良を容易に発見又は予測することができる。これにより、例えば、不良製品の製造の防止やその原因の早期把握が可能となり、製造製品の品質を向上させることができる。

−−第３実施形態−−
以下、第３実施形態に係る製造管理システムについて図面を用いて説明する。第３実施形態の製造管理システムは、トレーサビリティデータは用いず、複数の処理状況情報を用いる。具体的には、第１実施形態で説明した画像データ、及び、第２実施形態で説明した環境センシング情報を使用する。以下、第１実施形態、及び第２実施形態と異なる点を中心に説明する。

＜装置構成＞
図３２は、第３実施形態に係る製造管理システム１の構成の一例を説明する図である。同図に示すように、本実施形態に係る製造管理システム１は、第１実施形態におけるカメラノード１０９及びカメラ１１２と、第２実施形態におけるセンサノード１５０１及びセンサ群を備える。なお、その他の装置は第１実施形態と同様である。

＜機能＞
本実施形態に係る製造管理サーバ１０８は、第１実施形態における映像データ２１０及
び映像抽出データ２１１と、第２実施形態における環境センシングデータ１５０２とを記憶している。なお、その他のデータは第１実施形態と同様である。ただし、第１実施形態における部材トレーサビリティデータ２０８及び作業者トレーサビリティデータ２０９は存在しない。

また、本実施形態に係る製造管理サーバ１０８は、第１実施形態におけるオブジェクト間関連性推定部２０７と、第２実施形態におけるオブジェクト環境入出力推定部２５１とを共に備える。なお、その他の機能は第１実施形態と同様である。

＜処理＞
＜＜同一オブジェクト推定処理及び環境入出力推定処理＞＞
次に、本実施形態における同一オブジェクト推定処理及び環境入出力推定処理について説明する。

図３３は、第３実施形態に係る同一オブジェクト推定処理及び環境入出力推定処理を説明する図である。同図に示すように、本実施形態では、新映像抽出データ２１１ａに基づき、オブジェクト統合データ２１３ｂが生成される。また、生成されたオブジェクト統合データ２１３ｂ、及び、環境センシングデータ１５０２に基づき、更新されたオブジェクト統合データ２１３ｂが生成される。

例えば、図１７に示したように、新映像抽出データ２１１ａのレコード６０６の時刻２１１１に「９：０５」が格納され、位置２１１５に座標（X1,Y1,Z1）が格納され、また、図２７に示したように、環境センシングデータ１５０２のレコード１８０３の時刻１５０３に「９：０５」が格納され、位置１５０４に座標（X3,Y3,Z3）が格納され（座標（X3,Y3,Z3）は（X1,Y1,Z1）に近い）、センサ値１５０６に「音１」が格納されている場合を想定する。

この場合、レコード６０６及びレコード１８０３における時間及び場所は同一である（同一のタイミング及び同一の場所である）ので、図３３に示すように、新映像抽出データ２１１ａのレコード６０６に基づき生成されたオブジェクト統合データ２１３ｂのレコード２１０５の時刻２１３１には「９：０５」が格納され、位置２１３２には（X1,Y1,Z1）が格納される。そして、レコード２１０５の付加情報２１３５には、環境センシングデータ１５０２のレコード１８０３のセンサ値１５０６の「音１」が追加される。

一方、図１７に示したように、新映像抽出データ２１１ａのレコード６０７の時刻２１１１に「９：０５」が格納され、位置２１１５に座標（X2,Y2,Z2）が格納され、また、図２７に示したように、環境センシングデータ１５０２のレコード１８０４の時刻１５０３に「９：０５」が格納され、位置１５０４に座標（X4,Y4,Z4）が格納され（座標（X4,Y4,Z4）は（X1,Y1,Z1）に近くない）、センサ値１５０６に「音２」が格納されている場合を想定する。

この場合、レコード６０７及びレコード１８０４における時間及び場所は同一でない（同一のタイミング及び同一の場所ではない）ので、図３３に示すように、オブジェクト統合データ２１３ｂのレコード２１０６には、「音２」は追加されない。

＜＜可視化処理＞＞
次に、本実施形態における可視化処理について説明する。

図３４は、第３実施形態に係る可視化処理の一例を説明する図である。同図に示すように、可視化部２０１は、各オブジェクトが撮影された映像データ２１０を出力装置等に出
力し、出力した映像データ２１０に対して、ユーザからオブジェクトの指定（入力）を受け付ける。そして可視化部２０１は、指定を受け付けたオブジェクトと、予め設定された条件である検索クエリ２２０１を満たす環境センシング情報を取得し、取得した環境センシング情報に対応する情報２２０２を出力する。

例えば、時刻「９：０５」に実空間上の位置（X1,Y1,Z1）で撮影された映像データ２１０が出力されている出力装置の画面に対して、ユーザから、ある作業員２１０２（以下、本段落において指定作業員という）に対する指定がなされた場合（例えば、タッチパネル画面に対して指定がなされた場合）、可視化部２０１は、オブジェクト統合データ２１３ｂのレコードから、指定作業員のオブジェクト種別がオブジェクト種別２１３４に格納されているレコード２１０５を特定する。そして可視化部２０１は、特定したレコード２１０５の付加情報２１３５の内容（「ふらつき」、及び環境センシング情報である「音２」）を取得し、取得した環境センシング情報「音２」を、「音２」に対応する情報２２０２（例えば、音声）に変換し、変換した情報２２０２を、製造管理サーバ１０８又はクライアントノード１０６等に出力する。

このように、本実施形態の製造管理システム１は、画像データ及び環境センシング情報といった複数の処理状況情報に基づき、部材の処理の状況に関する情報を出力する。これにより、ユーザは、例えば、部材や製品の製造工程を的確に追跡することができる。これにより、製品の製造工程におけるトレーサビリティを高めることができる。

−−第４実施形態−−
次に、第４実施形態に係る製造管理システムについて図面を用いて説明する。第４実施形態の製造管理システムは、第１実施形態で説明したトレーサビリティ情報に加え、処理状況情報として、第１実施形態で説明した画像データ及び第３実施形態で説明した環境センシング情報を使用する。以下、主に、第１実施形態及び第２実施形態と異なる点について説明する。

＜装置構成＞
図３５は、第４実施形態に係る製造管理システム１の構成の一例を説明する図である。同図に示すように、本実施形態に係る製造管理システム１は、第２実施形態におけるセンサノード１５０１及びセンサ群を備える。また、この製造管理システム１は、第１実施形態におけるカメラノード１０９及びカメラ１１２も備える。その他の装置は第１実施形態と同様である。

＜機能＞
本実施形態に係る製造管理サーバ１０８は、第２実施形態における環境センシングデータ１５０２を記憶している。その他のデータは第１実施形態と同様である。

また、本実施形態に係る製造管理サーバ１０８は、第２実施形態におけるオブジェクト環境入出力推定部２５１を備える。なお、その他の機能は第１実施形態と同様である。

＜＜同一オブジェクト推定処理、オブジェクト間関連性推定処理、及び環境入出力推定処理＞＞
次に、本実施形態に係る同一オブジェクト推定処理、オブジェクト間関連性推定処理、及び環境入出力推定処理について説明する。

図３６は、第４実施形態に係る同一オブジェクト推定処理、オブジェクト間関連性推定処理、及び環境入出力推定処理の一例を説明する図である。同図に示すように、同一オブジェクト推定処理及びオブジェクト間関連性推定処理により、新部材トレーサビリティデ
ータ２０８ａ、新作業者トレーサビリティデータ２０９ａ、及び新映像抽出データ２１１ａに基づき、オブジェクト統合データ２１３及びオブジェクト間関連性データ２１４が生成される。次に、環境入出力推定処理により、前記で生成されたオブジェクト統合データ２１３、及び環境センシングデータ１５０２に基づき、環境センシング情報が追加されたオブジェクト統合データ２１３及びオブジェクト間関連性データ２１４が生成される（オブジェクト統合データ２１３及びオブジェクト間関連性データ２１４が更新される）。

例えば、同図に示すように、まず、オブジェクト統合データ２１３のレコード２４０３の付加情報２１３５には、映像データ２１０（画像データ）に基づき解析された「ふらつき」という処理の状況を示す情報が格納される。次に、前記で生成されたオブジェクト統合データ２１３のレコード２４０３の付加情報２１３５に、「音２」という環境センシング情報が追加される。

また、生成されたオブジェクト間関連性データ２１４のレコード２４０８の付加情報２１４４には、映像データ２１０（画像データ）に基づき解析された「梱包」という処理の状況を示す情報が格納される。

以上のように、第１〜第３実施形態に係る製造管理システム１を組み合わせることで、本実施形態の製造管理システム１を構成することができる。

以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。

１ 製造管理システム、２０６２ オブジェクト統合データ生成部、２１８１ トレーサビリティ情報記憶部、２１８２ 処理状況情報記憶部、２２１ オブジェクト統合データ出力部

Claims (13)

1. 部材に対して複数の処理を行うことにより製造される製品を管理する製造管理方法であって、
   プロセッサ及びメモリを備える情報処理装置が、
   前記部材を処理した装置、前記処理を担当した作業員、及び前記処理が行われたタイミングを互いに対応づけた情報であるトレーサビリティ情報を記憶するトレーサビリティ情報記憶処理と、
   前記部材の処理の状況、及びその処理が行われたタイミングを対応づけた情報である処理状況情報を記憶する処理状況情報記憶処理と、
   前記トレーサビリティ情報及び前記処理状況情報に基づき、同一のタイミングにおける、前記処理と、前記装置又は前記作業員と、前記処理の状況との組み合わせをオブジェクト統合データとして生成するオブジェクト統合データ生成処理と、
   前記生成したオブジェクト統合データの内容を出力するオブジェクト統合データ出力処理と、
   前記作業員、及び前記作業員が担当する処理が行われる前記部材の組み合わせが前記同一のタイミングにおいて生じる確率に関する情報である第１事象確率モデルを記憶する第１事象確率モデル記憶処理とを実行し、
   前記オブジェクト統合データ生成処理は、前記第１事象確率モデルに基づき前記オブジェクト統合データを生成する処理である、
   製造管理方法。
2. 前記トレーサビリティ情報は、前記部材の処理が行われた位置、及び前記処理を担当した作業員の位置を含む情報であり、
   前記オブジェクト統合データ生成処理は、前記部材の処理が行われた位置、及び前記処理を担当した作業員の位置に基づき、同一のタイミング及び同一の場所における、前記処理と、前記装置又は前記作業員と、前記処理の状況との組み合わせを前記オブジェクト統合データとして生成する処理である、
   請求項１に記載の製造管理方法。
3. 前記情報処理装置は、複数の前記オブジェクト統合データを取得し、取得した前記オブジェクト統合データの間の関連性を推定するオブジェクト間関連性推定処理を実行し、
   前記オブジェクト統合データ出力処理は、前記推定した関連性を表す情報を出力する処理である、
   請求項１に記載の製造管理方法。
4. 前記情報処理装置は、前記部材の処理の状況と、前記作業員又は前記部材との組み合わせが前記同一のタイミングにおいて生じる確率に関する情報である第２事象確率モデルを記憶する第２事象確率モデル記憶処理を実行し、
   前記オブジェクト間関連性推定処理は、前記第２事象確率モデルに基づき前記オブジェクト統合データの間の関連性を推定する処理である、
   請求項３に記載の製造管理方法。
5. 前記処理状況情報は、前記部材の処理の状況が撮影された画像の情報を含む、請求項１に記載の製造管理方法。
6. 前記処理状況情報は、前記部材の処理に関連して発生した音、温度、匂い、人又は物の速度、風速、若しくは気圧のいずれかに関する情報を含む、請求項１に記載の製造管理方
   法。
7. 前記処理状況情報は、前記部材の処理の状況が撮影された画像の情報と、前記部材の処理に関連して発生した音、温度、匂い、人又は物の速度、風速、若しくは気圧のいずれかに関する情報とを含み、
   前記トレーサビリティ情報は、前記部材の処理が行われた位置、及び前記処理を担当した作業員の位置を含む情報であり、
   前記情報処理装置は、
   複数の前記オブジェクト統合データを取得し、取得した前記オブジェクト統合データの間の関連性を推定するオブジェクト間関連性推定処理と、
   前記部材の処理の状況と、前記作業員又は前記部材との組み合わせが前記同一のタイミングにおいて生じる確率に関する情報である第２事象確率モデルを記憶する第２事象確率モデル記憶処理とをさらに実行し、
   前記オブジェクト統合データ生成処理は、
   前記部材の処理が行われた位置、及び前記処理を担当した作業員の位置に基づき、同一のタイミング及び同一の場所における、前記処理と、前記装置又は前記作業員と、前記処理の状況との組み合わせを前記オブジェクト統合データとして生成する処理を実行する処理を有し、
   前記オブジェクト間関連性推定処理は、前記第２事象確率モデルに基づき前記オブジェクト統合データの間の関連性を推定する処理を実行する処理であり、
   前記オブジェクト統合データ出力処理は、前記推定した関連性を表す情報を出力する処理である、
   請求項１に記載の製造管理方法。
8. 部材に対して複数の処理を行うことにより製造される製品を管理する、プロセッサ及びメモリを備える製造管理システムであって、
   前記部材を処理した装置、前記処理を担当した作業員、及び前記処理が行われたタイミングを互いに対応づけた情報であるトレーサビリティ情報を記憶するトレーサビリティ情報記憶部と、
   前記部材の処理の状況、及びその処理が行われたタイミングを対応づけた情報である処理状況情報を記憶する処理状況情報記憶部と、
   前記作業員、及び前記作業員が担当する処理が行われる前記部材の組み合わせが前記同一のタイミングにおいて生じる確率に関する情報である第１事象確率モデルを記憶する第１事象確率モデル記憶部と、
   前記トレーサビリティ情報及び前記処理状況情報に基づき、同一のタイミングにおける、前記処理と、前記装置又は前記作業員と、前記処理の状況との組み合わせをオブジェクト統合データとして生成するオブジェクト統合データ生成部と、
   前記生成したオブジェクト統合データの内容を出力するオブジェクト統合データ出力部と、を備え、
   前記オブジェクト統合データ生成部は、前記第１事象確率モデルに基づき前記オブジェクト統合データを生成する、
   製造管理システム。
9. 前記トレーサビリティ情報は、前記部材の処理が行われた位置、及び前記処理を担当した作業員の位置を含む情報であり、
   前記オブジェクト統合データ生成部は、前記部材の処理が行われた位置、及び前記処理を担当した作業員の位置に基づき、同一のタイミング及び同一の場所における、前記処理と、前記装置又は前記作業員と、前記処理の状況との組み合わせを前記オブジェクト統合データとして生成する処理を実行する、
   請求項８に記載の製造管理システム。
10. 複数の前記オブジェクト統合データを取得し、取得した前記オブジェクト統合データの間の関連性を推定するオブジェクト間関連性推定部を備え、
    前記オブジェクト統合データ出力部は、前記推定した関連性を表す情報を出力する、
    請求項８に記載の製造管理システム。
11. 前記部材の処理の状況と、前記作業員又は前記部材との組み合わせが前記同一のタイミングにおいて生じる確率に関する情報である第２事象確率モデルを記憶する第２事象確率モデル記憶部を備え、
    前記オブジェクト間関連性推定部は、前記第２事象確率モデルに基づき前記オブジェクト統合データの間の関連性を推定する、
    請求項１０に記載の製造管理システム。
12. 前記処理状況情報は、前記部材の処理の状況が撮影された画像の情報を含む、請求項８に記載の製造管理システム。
13. 前記処理状況情報は、前記部材の処理に関連して発生した音、温度、匂い、人又は物の速度、風速、若しくは気圧のいずれかに関する情報を含む、請求項８に記載の製造管理システム。