JP7414797B2 - 製造管理方法 - Google Patents

Description

本発明は、製造管理方法、製造管理装置、プログラムに関する。

近年、製造業の製造現場において、製造される製品一つひとつの加工や検査などの製造履歴をビッグデータとして蓄積・解析し、品質管理や生産効率の向上、更には設計や加工精度の向上に生かすことが行われている。特に、製品の品質管理は重要であり、製品個々の製造履歴をさかのぼり、製品個々に評価された品質の要因を特定することが必要となる。

そして、製品個々の製造履歴を蓄積するためには、製品自体である固体を識別する必要がある。つまり、製造ラインを流れる製品の個体識別情報を取得し、かかる個体識別情報に製造状況情報を関連付けて記憶することで、製造履歴を蓄積することができる。

ここで、製品を個体識別するために、製品に製造番号やバーコードなどを付与したり、ＲＦＩＤ（Radio Frequency IDentifier）などのタグを取り付けることがある。しかしながら、上記製造番号やバーコード、タグなどを用いて個体識別する場合には、これらを製品個々に対して付与する必要があり、コストが膨大になるという問題が生じる。また、ネジやボルト、錠剤などの小さな製品には、その大きさの制約や製品の特性から、製造番号やバーコード、タグなどを付与することができないこともある。さらに、バーコードやタグ等を物理的に付与することが可能な製品であっても、これらを付与することで、製品の外観や意匠といったデザインを損ねてしまう、という問題も生じる。

そこで、近年では、製品の表面の微細な紋様（物体指紋）を用いて個体識別する物体指紋認証技術が提案されている。具体的に、物体指紋認証技術は、製品表面の微細凹凸や紋様、素材表面のランダムパターン等の製品の製造過程で生じる自然発生的な微細なパターンを、カメラ等の撮影装置を用いて画像として取得し、その微細なパターンを認識することで製品の個体識別を行う。

ここで、上述した物体指紋認証技術を用いて製品の品質を管理する方法の一例が、特許文献１に開示されている。特許文献１では、製品の表面を撮影して表面パターン情報を取得し、かかる表面パターン情報に、製造日時や製造時の気温や湿度などの製造条件、製造工場や製造ラインのＩＤ、といった製造にかかる関連情報を紐付けてデータベースに記憶する。そして、その後、使用者や流通業者からの要求に応じて、実際の製品の表面パターン情報とデータベースに記憶されている表面パターン情報とを照合することによって、製品の製造にかかる関連情報を特定している。

また、製品の品質を管理する別の方法として、特許文献２に開示されているように、作業者の動作を確認する方法がある。特許文献２では、製品に対する作業を行う作業場所を撮影することで、作業者の作業内容が基準作業の内容を満たしているか検査を行っている。

特開２０１５－２３２８５３号公報 特開２０１６－４２３３２号公報

しかしながら、上述した特許文献１に記載の技術では、製品の表面パターン情報から、かかる製品の製造日時や製造条件、製造場所といった大まかな製造にかかる情報しか特定することができない。このため、製品の品質が、製品の製造に関わる人物の動作に起因する場合であっても、そのことを特定することができない、という問題が生じる。また、上述した特許文献２に記載の技術では、作業対象となっている製品に関係なく作業者の作業内容のみに着目しているため、作業者のいかなる動作が製品個々の品質の要因となっているかを特定することができない。その結果、製品の品質の要因を詳細に特定することができない、という問題が生じる。

このため、本発明の目的は、上述した課題である、製品の品質の要因を詳細に特定することができない、ことを解決することができる製造管理方法を提供することにある。

本発明の一形態である製造管理方法は、
製品の製造過程に含まれる製造工程において製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、当該製造工程において製品に対する製造作業を行う人物の動作を表す動作情報を取得し、
取得した製品の固有情報と前記動作情報とを関連付けて記憶し、
製品の評価の際に、製品を撮影した撮影画像から当該製品の固有情報を取得して、取得した固有情報と同一の固有情報に関連付けて記憶されている前記動作情報を読み出し、
読み出した前記動作情報に基づいて、製品の評価に対応する人物の作業動作を特定する、
という構成を有する。

また、本発明の一形態である製造管理方法は、
製品の製造過程に含まれる製造工程において製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、当該製造工程において製品に対する製造作業を行う人物の動作を表す動作情報を取得し、
取得した製品の固有情報と前記動作情報とを関連付けて記憶する、
という構成を有する。

また、本発明の一形態である製造管理装置は、
製品の製造過程に含まれる製造工程において製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、当該製造工程において製品に対する製造作業を行う人物の動作を表す動作情報を取得する取得部と、
取得した製品の固有情報と前記動作情報とを関連付けて記憶する関連付け部と、
を備える。

また、本発明の一形態であるプログラムは、
情報処理装置に、
製品の製造過程に含まれる製造工程において製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、当該製造工程において製品に対する製造作業を行う人物の動作を表す動作情報を取得する取得部と、
取得した製品の固有情報と前記動作情報とを関連付けて記憶する関連付け部と、
を実現させる、
という構成を有する。

本発明は、以上のように構成されることにより、製品の品質の要因を詳細に特定することができる。

本発明の実施形態１における製造システムの構成を示すブロック図である。 図１に開示した管理装置の構成を示すブロック図である。 図２に開示した工程データ記憶部に記憶される情報の一例を示す図である。 図２に開示した動作データ記憶部に記憶される情報の一例を示す図である。 図２に開示した評価データ記憶部に記憶される情報の一例を示す図である。 図２に開示した評価データ記憶部に記憶される情報の一例を示す図である。 図２に開示した評価データ記憶部に記憶される情報の一例を示す図である。 図１に開示した製造システムで製造される製品の一例を示す図である。 図１に開示した製造システムで製造される製品の一例を示す図である。 図１に開示した管理装置の動作を説明するための図である。 図１に開示した管理装置の動作を説明するための図である。 図１に開示した管理装置の動作を説明するための図である。 図１に開示した管理装置の動作を説明するための図である。 図１に開示した管理装置の動作を説明するための図である。 図１に開示した管理装置の動作を示すフローチャートである。 図１に開示した管理装置の動作を示すフローチャートである。 本発明の実施形態２における製造システムの構成を示すブロック図である。 図１４に開示した管理装置の動作データ記憶部に記憶される情報の一例を示す図である。 図１４に開示した管理装置における処理の一例を示す図である。 図１４に開示した管理装置における処理の一例を示す図である。 図１４に開示した管理装置における処理の一例を示す図である。 本発明の実施形態３における製造管理装置のハードウェア構成を示すブロック図である。 本発明の実施形態３における製造管理装置の構成を示すブロック図である。 本発明の実施形態３における製造管理装置の動作を示すフローチャートである。 本発明の実施形態３における製造管理装置の動作を示すフローチャートである。

＜実施形態１＞
本発明の第１の実施形態を、図１乃至図１３を参照して説明する。図１乃至図８は、製造システムの構成を説明するための図であり、図９乃至図１３は、管理装置の処理動作を説明するための図である。

［構成］
本発明における製造システムは、製造業の製造現場に構築されており、設定された製造過程を経て、所定の製品Ｇを製造するものである。例えば、本実施形態における製造システムで製造する製品Ｇは、図７に示すような半導体基盤であることとする。但し、本発明の製造システムで製造する製品Ｇは、半導体基板であることに限定されず、いかなる製品であってもよい。一例として、製品Ｇは、ノートパソコンやスマートフォンなどの電子機器、冷蔵庫や掃除機などの家電、自動車、電池、錠剤や包装された薬、鉄鋼材、プラスチック素材、などが挙げられる。

製造システムにて製品Ｇを製造する製造過程には、複数の製造工程が含まれる。例えば、図１に示すように、製造システム内に設定された製造ラインＬには、複数の製造工程Ａ，Ｂ，Ｃが含まれ、さらに完成した製品Ｇの品質を評価する評価工程も含まれる。各製造工程Ａ，Ｂ，Ｃでは、製品Ｇを製造するための製造作業が行われる。例えば、製造工程Ａでは作業者Ｐａによる製品Ｇに対する所定の部品Ｅａを設置する作業（動作ａ）、製造工程Ｂでは作業者Ｐｂによる製品Ｇに対する工具Ｔｂを用いた接合処理（動作ｂ）、製造工程Ｃでは作業者Ｐｃによる製品Ｇに対する工具Ｔｃを用いた組み付け作業（動作ｃ）、がそれぞれ行われる。さらに、評価工程では、製品Ｇを撮影した画像処理による品質評価が行われる。なお、製造ラインＬで行われる上述した各工程における作業内容は一例であり、例えば、医薬品などの化学製品を製造する場合における薬剤の注入作業や撹拌作業など、作業者によっていかなる製造作業が行われてもよい。また、製造ラインＬでは、上述した製造工程数に限らず、１工程であってもよく、あるいは、さらに多くの製造工程が行われてもよい。

そして、本発明における製造システムは、特に、製品Ｇの品質管理のために、製造ラインＬを搬送される個々の製品Ｇを識別して、各製造工程における製品Ｇ毎の製造状況を表す作業者（人物）の動作情報を記憶しておく機能を有する。このため、個々の製品Ｇを識別する技術を利用することが不可欠で有り、本実施形態では、製品Ｇの表面の微細な紋様（物体指紋）を用いて個体識別する物体指紋認証技術を用いることとする。

ここで、物体指紋認証技術について簡単に説明する。まず、一般的に、同一仕様の工業製品は、同じ仕様の製造装置を使い、ばらつきのないように製造されるものであるが、高精度に切削加工される機械部品や、同一の金型から製造した部品であっても、特定の照明条件下で製品の表面を顕微鏡で拡大すると、個々に表面の凹凸が微妙に違い、異なる紋様パターンとして観測することができる。このような微細な紋様は、製品や部品の性能・品質には無関係なレベルのものであり、個々に異なる唯一な特徴を持っているため、個体の違いは画像で認識することができる。つまり、生物と同様に、工業製品にも個体固有の指紋があり、かかる物体指紋を用いて個体識別を行うことが可能である。

具体的に、製品から物体指紋を抽出する際には、例えば、特定の照明条件下で製品の表面を撮影し、撮影した画像から、輝度の変化が急峻で、位置が安定して求まる場所を特徴点として決定する。続いて、特徴点周辺の局所的な輝度パターンを特徴量としてデータ化することで、製品の物体指紋として抽出する。そして、同一の製品であるかを調べるために物体指紋同士を照合する際には、特徴点の幾何的な配置の整合性を検証することで行う。例えば、照合する物体指紋同士から、特徴量の差が最少となる特徴点をペアとして求め、求められたペア群から、他の特徴点との相対的な位置関係が矛盾しないペア群のみを抽出する。そして、抽出された特徴点の数の合計をNtotoal、幾何的な配置が正しい特徴点ペアの数をninlierとし、両画像の照合スコアS = ninlier / Ntotoal を計算する。この照合スコアが所定のしきい値より高ければ、照合する物体指紋が抽出された製品は、同一の個体であると決定できる。なお、上述した物体指紋の抽出方法や照合方法は一例であって、いかなる方法で行ってもよい。

続いて、製造システムの構成についてさらに説明する。製造システムは、各製造工程Ａ，Ｂ，Ｃと評価工程に、製品Ｇの固有情報である物体指紋を取得するための撮影装置であるカメラＣｔａ，Ｃｔｂ，Ｃｔｃ，Ｃｔｚを備えている。各カメラＣｔａ，Ｃｔｂ，Ｃｔｃ，Ｃｔｚは、特定の照明条件下で、製品Ｇの物体指紋を抽出する一部の表面を撮影するよう設置されており、撮影した追跡用画像を管理装置１０に送信する。例えば、本実施形態では、各カメラＣｔａ，Ｃｔｂ，Ｃｔｃ，Ｃｔｚは、図７に示す製品Ｇである半導体基板の四隅のうち、特定のマークＭが位置する箇所の角付近の画像を少なくとも撮影する設置されている。

また、製造システムは、各製造工程Ａ，Ｂ，Ｃに、当該各製造工程における各作業者Ｐａ，Ｐｂ，Ｐｃの作業動作を表す動作データ（動作情報）を取得するための基となる情報を取得する製造状況取得装置を備えている。そして、各製造状況取得装置は、各製造工程における動作データを表すパラメータの基となる情報を取得すると、かかる情報を管理装置１０に送信する。例えば、製造工程Ａでは、作業者Ｐａの動作データである部品設置の際に設置される「部品名」及び「設置方向」を取得するために、作業者Ｐａを含む作業状況を撮影するカメラＣｐａが製造状況計取得置として設けられており、作業時の動画像を取得する。また、製造工程Ｂでは、作業者Ｐａの動作データである接合作業時の「作業時間」を取得するために、作業者Ｐｃが使用する工具Ｔｂに当該工具Ｔｂの作動時間を計測するセンサが内蔵されており、かかる工具Ｔｂが製造状況取得装置として設けられていて、作業時間を取得する。なお、作業工程Ｂでは、作業者Ｐｂを含む作業状況を撮影するカメラＣｐｂも設けられており、作業時の動画像を取得する。また、製造工程Ｃでは、作業者Ｐｃの動作データである組み付け作業に用いる「工具名」を取得するために、作業者Ｐｃを含む作業状況を撮影するカメラＣｐｃが製造状況計取得置として設けられており、作業時の動画像を取得する。

また、製造システムは、評価工程に、製造した製品Ｇの品質を評価すべく、製品Ｇ全体を撮影するカメラＣｓｚを備えている。このカメラＣｓｚは、製品Ｇにひび割れが生じていないかといった品質を評価するための情報を検出可能なように、製品Ｇ全体を撮影するよう設置されており、撮影した評価用画像を管理装置１０に送信する。

なお、各製造工程Ａ，Ｂ，Ｃで取得する作業者Ｐａ，Ｐｂ，Ｐｃの作業動作を表す動作データは上述したものに限定されず、作業者Ｐａ，Ｐｂ，Ｐｃの動作に起因するデータであれば、いかなるデータであってもよい。これに応じて、各製造工程Ａ，Ｂ，Ｃで動作データを取得するための基となる情報は、上述した作業者の動画像や工具のセンサから計測された計測値に限定されず、作業者の静止画像や他のセンサにて取得したいかなる情報であってもよい。また、評価工程では、製品Ｇの品質評価を評価用画像に基づいて行うことに限定されない。例えば、サーモグラフィによる熱分布を利用した品質評価や、作業者の目視による品質評価が行われてもよく、その評価結果が管理装置１０に入力されてもよい。

そして、製造システムは、図１に示すように、さらに管理装置１０を備えている。管理装置１０は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、管理装置１０は、図２に示すように、演算装置がプログラムを実行することで構築された、取得部１１、蓄積部１２、評価部１３、特定部１４、出力部１５、を備える。また、管理装置１０は、記憶装置に形成された、工程データ記憶部１６、動作データ記憶部１７、評価データ記憶部１８、を備える。以下、各構成について詳述する。

上記取得部１１は、各製造工程Ａ，Ｂ，Ｃに設置されたカメラＣｔａ，Ｃｔｂ，Ｃｔｃから撮影された各追跡用画像を取得し、各追跡用画像から製品Ｇの固有情報である物体指紋を抽出して取得する。本実施形態では、取得部１１は、まず、製品Ｇの少なくとも一部の表面を撮影した追跡用画像から、製品Ｇである半導体基板の四隅のうち特定のマークＭが位置する箇所の角付近の領域を物体指紋領域Ｆとして特定する。具体的に、取得部１１は、図７に示すような製品Ｇが映る追跡用画像内から特定のマークＭを検出し、かかるマークＭが位置する角を形成する縁から特定の距離だけ離れた位置の領域を、物体指紋領域Ｆとして特定する。そして、取得部１１は、特定した物体指紋領域Ｆの紋様のパターン等を特徴量としてデータ化して、製品Ｇの物体指紋として抽出する。これにより、各製造工程Ａ，Ｂ，Ｃで撮影された製品Ｇの表面の同一箇所から、物体指紋を抽出することができる。

また、取得部１１は、各製造工程Ａ，Ｂ，Ｃに製造状況取得装置として設置されたカメラＣｐａ，Ｃｐｂ，Ｃｐｃや工具Ｔｂから作業者の作業時の動画像や工具Ｔｂに内蔵されたセンサからの計測値を取得し、これら動画像や計測値から各製造工程Ａ，Ｂ，Ｃにおける作業者の動作を表す動作データを取得する。このとき、取得部１１は、図３に示すように、工程データ記憶部１６に予め記憶された製造工程と動作データとの対応表に基づいて、各製造工程における動作データを取得する。

具体的に、取得部１１は、製造工程Ａの場合には、動作データとして製品Ｇに設置する部品の「部品名」及び「設置方向」を取得するよう設定されているため、製造工程Ａに設置されたカメラＣｐａから取得した動画像から、製造工程Ａで作業者Ｐａが手に持って製品Ｇに設置した部品名と部品の設置方向を特定する。このとき、管理装置１０には、予め部品の形状情報と部品名とが関連付けられて登録されており、かかる登録された部品形状情報と、カメラＣｐａから取得した画像に映る部品Ｅａの形状と、を照合することで、部品名を特定することができる。また、取得部１１は、動画像から、作業者Ｐａの手の移動軌跡を抽出することで、部品の設置方向（例えば、作業者の左側から、あるいは、右側から）を表す情報を特定することができる。なお、取得部１１は、必ずしも上述した方法で部品名や設置方向を取得することに限定されず、いかなる方法で部品名や設置方向を取得してもよい。

また、取得部１１は、製造工程Ｂの場合には、動作データとして製品Ｇに対する工具Ｔｂを用いた接合作業の「作業時間」を取得するよう設定されているため、製造工程Ｂに設置された工具Ｔｂに内蔵されたセンサにて計測して作業時間を取得する。なお、取得部１１は、必ずしも上述した方法で作業時間を取得することに限定されず、いかなる方法で温度を取得してもよい。例えば、製造工程Ｂに設けられたカメラＣｐｂにて撮影された動画像を解析して、作業者Ｐｂが接合作業を行っている動作を抽出し、かかる動作を行っている時間を計測して作業時間を取得してもよい。

また、取得部１１は、製造工程Ｃの場合には、動作データとして製品Ｇの組み付け作業に用いる「工具」を取得するよう設定されているため、製造工程Ｃに設置されたカメラＣｐｃから取得した動画像から、製造工程Ｃで作業者Ｐｃが手に持った工具の工具名を特定する。このとき、管理装置１０には、予め工具の形状情報と工具名とが関連付けられて登録されており、かかる登録された工具形状情報と、カメラＣｐｃから取得した画像に映る工具Ｔｃの形状と、を照合することで、工具名を特定することができる。なお、取得部１１は、必ずしも上述した方法で工具名を取得することに限定されず、いかなる方法で工具名を取得してもよい。例えば、製造工程Ｃでは、各工具を工具毎に指定された場所に収容するよう規定されており、各工具の収容場所に載置センサを設けることで、作業者Ｐｃが収容場所から取り出した工具を検出して、組み付け作業に用いられた工具名を特定してもよい。

なお、取得部１１が各製造工程Ａ，Ｂ，Ｃで取得する動作データは、上述したものに限定されず、いかなる動作データであってもよい。例えば、取得部１１が取得する動作データは、作業者の作業時の動作、視線、姿勢、工具の持ち方、などであってもよい。他の例として、製品Ｇが医薬品などの化学製品である場合においては、動作データとして、薬剤の注入作業における注入量を注入装置に内蔵されたセンサから取得してもよく、動画像から作業者による薬剤の撹拌作業動作を抽出してその作業時間を取得してもよい。

上記蓄積部１２（関連付け部）は、上述した取得部１１で取得した製品Ｇの物体指紋と、かかる製品Ｇに対する作業者の動作を表す動作データと、を関連付けて、動作データ記憶部１７に記憶する。このとき、蓄積部１２は、同一の製造工程で取得した物体指紋と動作データとを関連付けて記憶する。つまり、蓄積部１２は、ほぼ同一のタイミングで上述した取得部１１にて取得された物体指紋と動作データとを関連付ける。さらに、蓄積部１２は異なる製造工程で取得された製品Ｇの物体指紋同士が一致している場合には、各製造工程でそれぞれ取得された動作データを、１つの物体指紋にまとめて関連付けて記憶する。これにより、同一製品Ｇの各製造工程における動作データは、１つの物体指紋に関連付けてまとめて記憶することができる。このときさらに、蓄積部１２は、製造工程Ａ，Ｂ，Ｃにおいて作業者Ｐａ，Ｐｂ，Ｐｃの作業動作を撮影した動画像も、各製造工程の動作データに対応付けて記憶しておく。

具体的に、蓄積部１２は、取得部１１から物体指紋と動作データを取得し、かかる物体指紋と同一の物体指紋が動作データ記憶部１７に記憶されていない場合には、新たに個体番号を付与し、かかる個体番号に物体指紋と動作データとを関連付けて記憶する。また、蓄積部１２は、取得した物体指紋と同一の物体指紋が動作データ記憶部１７に記憶されている場合には、記憶されている物体指紋に関連付けられている個体番号に、さらに動作データを追加して関連付けて記憶する。これにより、図４に示すように、１つの物体指紋に対して１つの個体番号が付与され、さらに各作業工程の動作データが関連付けられて記憶される。なお、図４の例では、動作データに、動画像も関連付けて記憶されている。

上記評価部１３は、評価工程に設置されたカメラＣｔｚから撮影された追跡用画像を取得し、追跡用画像から製品Ｇの固有情報である物体指紋を抽出して取得する。なお、物体指紋の抽出方法は、上述した取得部１１にて抽出する方法と同様である。そして、評価部１３は、評価工程の製品Ｇから取得した物体指紋と同一の物体指紋が動作データ記憶部１７に記憶されているか否かを調べる。評価部１３は、評価工程の製品Ｇから取得した物体指紋と同一の物体指紋が動作データ記憶部１７に記憶されている場合には、かかる同一の物体指紋に付与されている個体番号を読み出し、評価工程の製品Ｇの個体番号として特定する。

また、評価部１３は、評価工程に設置された評価用のカメラＣｓｚから撮影された製品Ｇ全体が映る評価用画像を取得し、かかる評価用画像を解析して製品Ｇの品質の評価を行う。例えば、評価部１３は、評価用画像から、図８に示すように、製品Ｇに生じているひび割れＨを検出したり、ひび割れＨの長さ、幅、位置、などを検出するなどして、製品Ｇの品質を複数段階で評価する。そして、評価部１３は、品質の評価の対象となった評価用画像とほぼ同一のタイミングで取得した物体指紋から特定された個体番号に、評価結果を関連付けて、評価データ記憶部１８に記憶する。例えば、評価部１３は、図５に示すように、製品Ｇの評価をＲ１，Ｒ２，Ｒ３というように複数段階でランク付けし、個体番号に対応付けて、評価データ記憶部１８に記憶する。なお、この場合、ランクの数値が小さいほど評価が高く、ランクの数値が大きいほど評価が低いこととする。例えば、本実施形態では、ランクＲ１，Ｒ２は正常状態の品質であることとし、ランクＲ３は異常状態の品質であることとする。なお、評価部１３は、製品Ｇの評価を必ずしも複数段階で行う必要はなく、製品Ｇが異常状態であることのみを検出するなど、特定の状態である製品Ｇを検出することにより、当該製品Ｇの品質を評価してもよい。

そして、評価部１３は、上述したように製品Ｇの評価に個体番号を対応付けてことで、かかる個体番号から、その製品Ｇの製造工程における作業者の作業動作を表す動作データを、動作データ記憶部１７から読み出すことができる。例えば、評価部１３は、図５に示すように、ランクＲ３で異常状態であると評価された製品Ｇの物体指紋と同一の物体指紋が、個体番号「４」として登録されていたとする。この場合には、かかる個体番号「４」の情報を、図６Ａの下段に示すように動作データ記憶部１７から読み出す。このように動作データ記憶部１７から製品Ｇの情報を読み出すことで、図９の矢印に示すように、評価工程で異常状態と評価した製品Ｇの各製造工程Ａ，Ｂ，Ｃ時の作業者の作業動作を表す動作データを、遡って特定することができる。

なお、本実施形態では、評価部１３は、製品Ｇを撮影した評価用画像から製品Ｇの品質を評価しているが、サーモグラフィによる熱分布を利用して品質評価を行うなど、いかなる方法でいかなる評価を行ってもよい。また、評価部１３は、画像処理などにより自動的に製品Ｇの品質を評価することに限定されず、評価工程において作業者の目視などによる手動で行われた評価結果の入力を受け付けてもよい。

また、評価部１３は、製品Ｇの評価毎に、製品Ｇの各製造工程における作業者の作業動作を表す動作データを読み出す。例えば、図６Ａに示すように、正常状態であると評価されたランクＲ１，Ｒ２の製品Ｇに相当する個体番号の動作データと、異常状態と評価されたランクＲ３の製品Ｇに相当する個体番号の動作データと、を区別して読み出し、評価データ記憶部１８に記憶する。これにより、正常状態と評価された製品Ｇの各製造工程時の動作データと、異常状態と評価された製品Ｇの各製造工程時の動作データと、を比較でき、それらの差異を認識することができる。

上記特定部１４は、上述した評価部１３による製品Ｇの評価と、かかる製品Ｇの各製造工程時の作業者の作業動作を表す動作データと、に基づいて、製品Ｇの評価の要因となる作業者の作業動作を特定する。本実施形態では、特定部１４は、評価部１３によって読み出して評価データ記憶部１８に記憶した、図６Ａに示す製品Ｇの評価毎の動作データに基づいて、製品Ｇの評価の内容と製造工程毎の動作データとの相関関係を特定する。一例として、図６Ａの上段に示す正常状態であると評価されたランクＲ１，Ｒ２の製品Ｇの動作データと、図６Ａの下段に示す異常状態と評価されたランクＲ３の製品Ｇに相当する個体番号の動作データと、を比較する。このとき、図６Ｂの符号Ｙ１，Ｙ２に示すように、製造工程Ｂの動作データである「作業時間」に差異があった場合に、かかる「作業時間」の動作データが製品Ｇの評価に相関関係があると特定する。つまり、製品Ｇが異常状態となる要因は、製造工程Ｂにおける接合作業の「作業時間」であると特定する。

さらに、特定部１４は、製品Ｇの評価毎に、相関関係がある動作データの値を特定してもよい。例えば、異常状態の評価と相関関係がある動作データと特定されたランクＲ３の製造工程Ｂにおける「作業時間」から、異常状態となり得る製造工程Ｂにおける製品Ｇに対する接合作業の「作業時間」の値（例えば、「１２秒以上」）を特定してもよい。さらに、特定部１４は、正常状態のうち最高品質と評価されているランクＲ１の製造工程Ｂにおける「作業時間」から、最高品質となり得る製造工程Ｂにおける製品Ｇに対する接合作業の「作業時間」の値（例えば、「１０秒」）を特定してもよい。そして、特定部１４は、上述したように特定した製品Ｇの評価と相関関係のある動作データや、評価に対応する動作データの値を、評価データ記憶部１８に記憶しておく。

なお、上記では、特定部１４が、一例として、製品Ｇの評価と相関関係がある動作データが製造工程Ｂの「作業時間」であることを特定する場合を例示したが、もちろん他の製造工程のパラメータが特定される場合もありうる。例えば、製品Ｇの異常状態との評価と相関関係がある動作データが、製造工程Ａの「部品名」と特定されたり、製造工程Ｃの「工具名」と特定される場合もある。また、特定部１４は、製品Ｇのある評価と相関関係がある動作データとして、２つ以上の動作データを特定してもよい。

上記出力部１５は、上述したように評価部１３によって読み出された製品Ｇの各製造工程時における動作データや、特定部１４によって特定された製品Ｇの評価と相関関係がある動作データを、表示装置などの出力装置から出力する。特に、出力部１５は、製品Ｇの評価毎に対応する動作データに基づいて、作業者に対する作業動作を支援する動作支援情報を生成し、かかる動作支援情報を作業者に対して出力する。

ここで、出力部１５による動作支援情報の生成例を説明する。まず、一例として、上述したように、製品Ｇが異常状態と評価される要因が、製造工程Ｂにおける製品Ｇに対する接合作業の「作業時間」が「１２秒以上」の場合であると特定され、かつ、正常状態のうち最高品質となり得る製造工程Ｂにおける製品Ｇに対する接合作業の「作業時間」が「１０秒」の場合である、と特定されているとする。このとき、図１０Ａに示すように、製造工程Ｂにおける作業者Ｐｂによる異常状態と特定された作業動作時の動画像Ｖ１を取得して、当該動画像Ｖ１を、図４に示すように動作データを関連付けて動作データ記憶部１７に記憶していることとする。この場合、出力部１５は、異常状態と特定された製造工程Ｂにおける作業動作時の動画像Ｖ１と、正常状態のうち最高品質となり得る製造工程Ｂにおける製品Ｇに対する接合作業の「作業時間」である「１０秒」と、を用いて、動作支援情報を生成する。具体的に、出力部１５は、正常状態のうち最高品質となり得る製造工程Ｂにおける製品Ｇに対する接合作業の「作業時間」である「１０秒」から「１０秒間作業する」という文字情報を生成し、かかる文字情報を、図１０Ｂに示すように、異常状態と特定された製造工程Ｂにおいて撮影した動画像Ｖ１に重畳した新たな動画像を動作支援情報Ｗ１として生成する。そして、出力部１５は、生成した動画像からなる動作支援情報Ｗ１を、作業者Ｐｂが閲覧できるよう出力する。

以上のように、出力部１５が動作支援情報Ｗ１を生成し、作業者Ｐｂに対して出力することで、作業者Ｐｂは製品Ｇが異常状態となってしまう自身の作業動作を認識でき、さらに正しい動作も認識することができる。

なお、出力部１５は、必ずしも上述したような動作支援情報を生成することに限定されない。例えば、出力部１５は、作業者Ｐｂの製品Ｇが異常状態となった作業工程Ｂにおける動画像Ｖ１をそのまま動作支援情報としたり、製品Ｇが異常状態となったときの動作データである製品Ｇに対する接合作業の「作業時間」の値である「１２秒」のみを動作支援情報とし、異常状態の製品Ｇとなってしまう作業動作に対する動作支援情報として作業者Ｐｂに対して出力してもよい。あるいは、出力部１５は、製品Ｇが正常状態のうち最高品質となったときの動作データである製品Ｇに対する接合作業の「作業時間」の値である「１０秒」のみを、動作支援情報として作業者Ｐｂに対して出力してもよい。さらに、出力部１５は、異常状態の要因となった作業工程の動作データと、予め設定されている作業動作マニュアルと、を比較して、異常状態の要因となった作業工程の動作データに対応する作業動作マニュアルを抽出し、この抽出したマニュアル部分を動作支援情報として作業者Ｐｂに出力してもよい。

また、出力部１５による動作支援情報の他の生成例を説明する。ここでは、製品Ｇが異常状態と評価される要因が、製造工程Ａにおける製品Ｇの「設置方向」が「右側から」であり、かつ、正常状態のうち最高品質となり得る製造工程Ａにおける製品Ｇの「設置方向」が「左側から」である、と特定されたとする。このとき、図１１Ａに示すように、製造工程Ａにおける作業者Ｐａによる異常状態と特定された作業動作時の動画像Ｖ２を取得して、当該動画像Ｖ２を、動作データに関連付けて動作データ記憶部に記憶していることとする。この場合、出力部１５は、異常状態と特定された作業動作時の動画像Ｖ２と、正常状態のうち最高品質となり得る製造工程Ａにおける製品Ｇに対する部品の設置方向の値「左側から」と、を用いて、動作支援情報を生成する。具体的に、出力部１５は、正常状態のうち最高品質となり得る製造工程Ａにおける製品Ｇに対する部品の設置方向の値「左側から」を用いて「左側から部品を設置する」という文字情報を生成し、かかる文字情報を、図１１Ｂに示すように、異常状態と特定された作業工程Ａにおける動画像Ｖ２に重畳した新たな動画像を動作支援情報Ｗ２として生成する。そして、出力部１５は、生成した動画像からなる動作支援情報Ｗ２を、作業者Ｐａが閲覧できるよう出力する。

［動作］
次に、上述した管理装置１０の動作を、主に図１２乃至図１３のフローチャートを参照して説明する。まず、図１２のフローチャートを参照して、製造ラインＬ上で製造されている製品Ｇの各製造工程における作業者の作業動作を表す動作データを蓄積するときの動作を説明する。

管理装置１０は、まず、最初の製造工程である製造工程Ａに設置されたカメラＣｔａから撮影された追跡用画像を取得する。そして、管理装置１０は、製造工程Ａで取得した追跡用画像から製品Ｇの固有情報である物体指紋を抽出して取得する（ステップＳ１）。また、管理装置１０は、ほぼ同一のタイミングで、製造工程Ａに製造状況取得装置として設置されたカメラＣｐａから製造状況画像を取得する。そして、管理装置１０は、製造工程Ａで取得した製造状況画像である動画像から、製造工程Ａにおける作業者Ｐａの作業動作を表す動作データである「部品名」と「設置方向」を取得する（ステップＳ２）。

続いて、管理装置１０は、製造工程Ａで取得した製品Ｇの物体指紋と同一の物体指紋が、既に動作データ記憶部１７に記憶されているか否かを調べる（ステップＳ３）。この時点では、製造工程Ａは、製品Ｇについて最初の製造工程であるため、この製品Ｇの物体指紋は動作データ記憶部１７に記憶されていない（ステップＳ３でＮｏ）。このため、管理装置１０は、製造工程Ａで取得した製品Ｇの物体指紋を新規に登録し、かかる物体指紋に新たな個体番号を付与する。また、管理装置１０は、新たに付与した個体番号に、製造工程Ａで取得した物体指紋と動作データである「部品名」及び「設置方向」とを関連付けて、動作データ記憶部１７に記憶する（ステップＳ４）。また、このとき、製造工程Ａで作業者Ｐａの作業動作を撮影した動画像も、動作データと共に関連付けて動作データ記憶部１７に記憶する。

続いて、上述したように製造工程Ａで製造作業を終えた製品Ｇが、次の製造工程である製造工程Ｂに進むとする。すると、管理装置１０は、製造工程Ｂに設置されたカメラＣｔｂから撮影された追跡用画像を取得する。そして、管理装置１０は、製造工程Ｂで取得した追跡用画像から製品Ｇの固有情報である物体指紋を抽出して取得する（ステップＳ１）。また、管理装置１０は、ほぼ同一のタイミングで、製造工程Ｂに製造状況取得装置として設置された工具Ｔｂに内蔵されたセンサから、当該製造工程Ｂにおける作業者Ｐｂの作業動作を表す動作データである「作業時間」を取得する（ステップＳ２）。このとき、管理装置１０は、ほぼ同一のタイミングで製造工程Ｂにおける作業者Ｐｂの作業動作を撮影した動画像も取得する。

続いて、管理装置１０は、製造工程Ｂで取得した製品Ｇの物体指紋と同一の物体指紋が、既に動作データ記憶部１７に記憶されているか否かを調べる（ステップＳ３）。このとき、製品Ｇは既に製造工程Ａを経ているため、この製品Ｇの物体指紋は動作データ記憶部１７に既に記憶されている（ステップＳ３でＹｅｓ）。このため、管理装置１０は、製造工程Ｂで取得した製品Ｇの物体指紋と同一の物体指紋に付与されている個体番号に対して、製造工程Ｂで取得した動作データである「製造時間」を関連付けて、動作データ記憶部１７に記憶する（ステップＳ５）。これにより、製品Ｇの物体指紋に対して、製造工程Ａ及び製造工程Ｂでそれぞれ取得した動作データが関連付けられることとなる。また、このとき、製造工程Ｂで作業者Ｐｂの作業動作を撮影した動画像も、動作データと共に関連付けて動作データ記憶部１７に記憶する。

続いて、製造工程Ｂで製造作業を終えた製品Ｇが、次の製造工程である製造工程Ｃに進むとする。すると、管理装置１０は、製造工程Ｃに設置されたカメラＣｔｃから撮影された追跡用画像を取得する。そして、管理装置１０は、製造工程Ｃで取得した追跡用画像から製品Ｇの固有情報である物体指紋を抽出して取得する（ステップＳ１）。また、管理装置１０は、ほぼ同一のタイミングで、製造工程Ｃに製造状況取得装置として設置されたカメラＣｐｃから製造状況画像である動画像を取得する。そして、管理装置１０は、製造工程Ｃで取得した動画像から、製造工程Ｃにおける作業動作を表す動作データである「工具名」を取得する（ステップＳ２）。

続いて、管理装置１０は、製造工程Ｃで取得した製品Ｇの物体指紋と同一の物体指紋が、既に動作データ記憶部１７に記憶されているか否かを調べる（ステップＳ３）。このとき、製品Ｇは既に製造工程Ａ，Ｂを経ているため、この製品Ｇの物体指紋は動作データ記憶部１７に既に記憶されている（ステップＳ３でＹｅｓ）。このため、管理装置１０は、製造工程Ｃで取得した製品Ｇの物体指紋と同一の物体指紋に付与されている個体番号に対して、製造工程Ｃで取得した動作データである「工具名」を関連付けて、動作データ記憶部１７に記憶する（ステップＳ５）。これにより、製品Ｇの物体指紋に対して、製造工程Ａ，Ｂ，Ｃでそれぞれ取得した動作データが関連付けられることとなる。また、このとき、製造工程Ｃで作業者Ｐｃの作業動作を撮影した動画像も、動作データと共に関連付けて動作データ記憶部１７に記憶する。

その後も製造工程が存在する場合には、管理装置１０は、上述同様に、各製造工程で取得した物体指紋と同一の物体指紋の個体番号に、各製造工程で取得した動作データ及び動画像を関連付けて記憶する。これにより、例えば図４に示すように、物体指紋で特定される製品Ｇ毎の個体番号に、各製造工程の動作データ及び動画像が関連付けられて、動作データ記憶部１７に蓄積されることとなる。

次に、図１３のフローチャートを参照して、製品Ｇが評価工程に進んだときの動作を説明する。管理装置１０は、評価工程に設置されたカメラＣｔｚから撮影された追跡用画像を取得する。そして、管理装置１０は、評価工程で取得した追跡用画像から製品Ｇの固有情報である物体指紋を抽出して取得する（ステップＳ１１）。

また、管理装置１０は、ほぼ同一のタイミングで、評価工程に設置された評価用のカメラＣｓｚから撮影された製品Ｇ全体が映る評価用画像を取得し、かかる評価用画像を解析して製品Ｇの品質の評価を行う（ステップＳ１２）。例えば、評価部１３は、評価用画像から、図８に示すように、製品Ｇに生じているひび割れＨを検出したり、ひび割れＨの長さ、幅、位置、などを検出し、複数段階で製品Ｇの品質を評価し、図５に示すようにランク付けする。

続いて、管理装置１０は、評価工程で取得した製品Ｇの物体指紋と同一の物体指紋が、既に製造パラメータ記憶部１７に記憶されているか否かを調べる（ステップＳ１３）。このとき、製品Ｇは既に各製造工程を経ているため、この製品Ｇの物体指紋は動作データ記憶部１７に既に記憶されている（ステップＳ１３でＹｅｓ）。そして、管理装置１０は、評価工程で取得した製品Ｇの物体指紋と同一の物体指紋に付与されている個体番号に関連付けられている各製造工程での作業動作を表す動作データ及び動画像を、動作データ記憶部１７から読み出す（ステップＳ１４）。なお、管理装置１０は、現在、評価工程で品質を評価している製品Ｇの動作データのみを製造パラメータ記憶部１７から読み出して、出力してもよい。これにより、評価工程において異常状態が発生したと評価した製品Ｇの各製造工程における動作データを確認できる。

また、管理装置１０は、図６Ａに示すように、製品Ｇの評価毎に、製品Ｇの各製造工程における作業動作を表す動作データを、動作データ記憶部１７から読み出す（ステップＳ１４）。そして、管理装置１０は、読み出した製品Ｇの評価毎の動作データを用いて、製品Ｇの評価の要因となる動作データや製造工程、動画像といった作業動作を特定する（ステップＳ１５）。例えば、管理装置１０は、正常状態である評価の製品Ｇ群の動作データと、これとは異なる評価つまり異常状態である評価の製品Ｇ群の動作データと、を比較して、図６Ｂの符号Ｙ１，Ｙ２に示すように、製品Ｇの評価の内容と製造工程毎の動作データとの相関関係を特定する。そして、管理装置１０は、評価と相関関係があると特定した動作データを評価データ記憶部１８に記憶すると共に出力する。

また、管理装置１０は、製品Ｇの評価との相関関係を特定した動作データに基づいて、作業者に対する作業動作を支援する動作支援情報を生成する（ステップＳ１６）。例えば、管理装置１０は、図１０Ｂや図１１Ｂに示すように、製品Ｇが異常状態と評価されたときの作業工程の動画像に対して、製品が正常状態と評価されたときの作業工程における動作データ（例えば、作業時間が「１０秒間」や、作業方向が「左側から」といった情報）や、予め設定されたマニュアルに含まれる動作データからなる文字情報を含めた動作支援情報Ｗ１，Ｗ２を生成する。そして、管理装置１０は、生成した動作支援情報を、作業者が閲覧できるよう出力する（ステップＳ１７）。

以上のように、本実施形態では、製品Ｇの製造工程毎に、当該製品Ｇの固有情報である物体指紋と、製造工程における作業者の作業動作を表す動作データと、を取得して、同一の製造工程で取得した物体指紋と動作データとを関連付けて記憶している。このため、同一の製品Ｇの各製造工程における動作データをまとめて関連付けて記憶しておくことができる。

そして、本実施形態では、製品Ｇの評価工程においても、製品Ｇの物体指紋を取得している。これにより、かかる物体指紋を用いて、同一の物体指紋に関連付けられて記憶されている製品Ｇの各製造工程時における動作データを読み出すことで、製品の評価に対応する各製造工程時の動作データを遡って確認することができる。

さらに、本実施形態では、評価が異なる製品Ｇ毎の各製造工程時の動作データを比較することで、製品Ｇの評価の内容と動作データとの相関関係を特定している。これにより、製品Ｇの品質の製造工程上における要因を詳細に特定することができる。そして、特定した要因に基づいて、作業者に対する動作支援情報を生成して出力することで、作業者は製品Ｇが異常状態となってしまう自身の作業動作を認識でき、製品の品質の向上を図ることができる。

なお、上記では、製品Ｇの固有情報として物体指紋を用いているが、必ずしも固有情報に物体指紋を用いることに限定されない。例えば、製品Ｇにバーコードなどの識別情報を付与することが容易である場合には、製品Ｇを撮影した画像からバーコードなどの識別情報を抽出して固有情報として用いることもできる。

＜実施形態２＞
次に、本発明の第２の実施形態を、図１４乃至図１６を参照して説明する。本実施形態における製造システムは、実施形態１で説明した製造システムに加え、さらに以下の構成を備えている。なお、以下では、実施形態１と異なる構成について主に説明する。

図１４に示すように、本実施形態における製造システムは、各製造工程Ａ，Ｂ，Ｃに、さらに、各作業者Ｐａ，Ｐｂ，Ｐｃに対して作業支援情報を表示出力する表示装置であるディスプレイＤａ，Ｄｂ，Ｄｃを備えている。これらディスプレイＤａ，Ｄｂ，Ｄｃは、各製造工程Ａ，Ｂ，Ｃにおける作業者Ｐａ，Ｐｂ，Ｐｃが、製造作業中に表示画面を視認できるよう設置されている。

そして、本実施形態における出力部１５は、実施形態１で生成した図１０Ｂや図１１Ｂに示す動作支援情報を、該当する製造工程のディスプレイに表示するよう出力する。例えば、出力部１５は、実施形態１で説明した図１１Ｂに示すように、製造工程Ｂにおける動作支援情報Ｗ１を生成した場合には、かかる動作支援情報Ｗ１を製造工程Ｂに設置されたディスプレイＤｂに常に表示するよう出力する。これにより、製造工程Ｂの作業者Ｐｂは、動作支援情報Ｗ１を見て当該製造工程Ｂにおける製造作業を行うことができ、正しい作業動作を行うことが促され、製品Ｇの品質向上を図ることができる。

また、本実施形態における出力部１５は、以下に説明するように、各製造工程Ａ，Ｂ，Ｃにて各作業者Ｐａ，Ｐｂ，Ｐｃが現在行っている製造作業に対しても、上述したような動作支援情報を生成して、各ディスプレイＤａ，Ｄｂ，Ｄｃに出力する機能も有する。また、管理装置１０は、現在製造を行っている製品Ｇの品質を、製造作業中に評価する機能も有する。

上記機能を実現するために、まず、本実施形態における特定部１４は、上述した実施形態１と同様に、製品Ｇの評価と、かかる製品Ｇの各製造工程時の作業者の作業動作を表す動作データと、に基づいて、製品Ｇの評価の要因となる作業者の作業動作を特定する。例えば、図１５の上段に示す正常状態であると評価されたランクＲ１，Ｒ２の製品Ｇの動作データと、図１５の下段に示す異常状態と評価されたランクＲ３の製品Ｇに相当する個体番号の動作データと、を比較する。このとき、図１５の符号Ｙ１１，Ｙ１２に示すように、製造工程Ａの動作データである「部品名」に差異があった場合に、かかる「部品名」の動作データが製品Ｇの評価に相関関係があると特定する。つまり、製品Ｇが異常状態となる要因は、製造工程Ａにおいて製品Ｇに設置する部品の「部品名」が「Ｅａ２」である場合である、あるいは、「Ｅａ１」ではない場合である、と特定する。

また、特定部１４は、製品Ｇの評価毎に、相関関係がある動作データの値を特定して、学習データとして評価データ記憶部１８に記憶しておく。図１５の例では、異常状態となり得る製造工程Ａにおける製品Ｇに設置する部品の「部品名」の値（例えば、「Ｅａ２）を特定し、さらに、正常状態と評価されているランクＲ１，Ｒ２の製造工程Ａにおける製品Ｇに設置する部品の「部品名」の値（例えば、「Ｅａ１」）を特定し、学習データとして記憶しておく。

そして、本実施形態おける取得部１１は、製造工程Ａに設置されているカメラＣｐａから、現在、製造工程Ａで作業を行っている作業者Ｐａの動画像を取得し、製造工程Ａで取得すべき動作データである「部品名」を取得する。このとき、取得部１１は、例えば上述したように、予め登録された部品の形状情報と、カメラＣｐａから取得した動画像に映る部品の形状と、を照合することで、部品名を特定する。なお、取得部１１は、上述したように製品Ｇの物体指紋も取得する。

また、本実施形態における評価部１４は、上述したように評価データ記憶部１８に記憶した学習データを用いて、上記取得部１１にて現在の動画像から取得した「部品名」から、現在製造している製品Ｇを評価する。例えば、図１６Ａに示す動画像Ｖ１１のように、取得した「部品名（Ｅａ１）」の部品が学習データにおいて正常状態であると評価されている場合には、現在製造している製品Ｇは正常状態であると評価する。一方、図１６Ｂに示す動画像Ｖ１２のように、取得した「部品名（Ｅａ２）」の部品が学習データにおいて異常状態であると評価されている場合には、現在製造している製品Ｇが異常状態であると評価する。

そして、評価部１４は、製造工程Ａで取得した製品Ｇの物体指紋に、当該製造工程Ａで評価した製品Ｇの評価結果を関連付けて、評価データ記憶部１８に記憶する。例えば、上述した例では、製造工程Ａにおいて「部品名（Ｅａ２）」の部品が設置されることで異常状態であると評価された製品Ｇの物体指紋に、「異常状態」との評価を関連付け、「部品名（Ｅａ１）」の部品が設置されることで正常状態であると評価された製品Ｇの物体指紋には、「正常状態」との評価を関連付ける。但し、評価部１４は、後述するように、動作支援情報の出力により製造工程Ａにおける作業者Ｐａの作業動作が修正され、製品Ｇの評価が正常状態に変更された場合には、製品Ｇの物体指紋に関連付ける評価も変更する。また、評価部１４は、同一の製品Ｇについて、後続の製造工程においても上述同様に製造工程中に評価を行う。このため、ある製品Ｇの物体指紋に正常状態との評価が関連付けられている場合であっても、後続の製造工程で一度でも異常状態と評価された場合には、かかる製品Ｇの物体指紋には異常状態との評価が関連付けられることとなる。

さらに、本実施形態における出力部１５は、各製造工程Ａ，Ｂ，Ｃにおいて、現在の動画像から製品Ｇが異常状態であると評価された場合には、現在の動画像と、現在の動画像から取得した動作データと、学習データと、に基づいて、動作支援情報を生成する。例えば、製造工程Ａにおいて図１６Ｂに示す動画像Ｖ１２が取得され、かかる動画像Ｖ１２から取得した「部品名（Ｅａ２）」により、学習データから製品Ｇが異常状態であると評価されたとする。この場合、学習データから、製造工程Ａにおいて正常状態との評価が関連付けられている「部品名（Ｅａ１）」を抽出し、かかる情報から「部品Ｅａ１を設置する」という文字情報を生成し、図１６Ｃに示すように、現在の動画像に重畳した新たな動画像を動作支援情報Ｗ１２として生成する。そして、出力部１５は、生成した動画像からなる動作支援情報Ｗ１２を、製造工程ＡのディスプレイＤａに出力する。

これにより、製造工程Ａの作業者Ｐａは、製造作業中にほぼリアルタイムで、動作支援情報Ｗ１２を見ることができ、誤った製造作業を正しい作業に修正することができる。その結果、製品Ｇの品質向上を図ることができる。

なお、上記では、一例として、製造工程Ａの製造作業中に製品Ｇの品質を評価したり、動作支援情報を出力しているが、他の製造工程でも行ってもよい。例えば、製造工程Ｂで製造作業中の動作データとして「作業時間」を取得し、かかる作業時間が、製品Ｇが正常状態であると評価されるときの「作業時間」に満たない場合には、その旨や正常状態と評価される「作業時間」を現在の動画像に重畳して動作支援情報を生成し、ディスプレイから出力してもよい。

また、上記では、過去の製品Ｇの品質の評価結果から学習データを生成して、かかる学習データを用いて製造作業中の製品Ｇの品質を評価したり、動作支援情報を生成しているが、予め設定されたマニュアルデータを用いて、製造中の製品Ｇの品質を評価したり動作支援情報を生成してもよい。

また、出力部１５は、現在の動画像から上述したように取得した「部品名」を、かかる現在の動画像に重畳して動作支援情報として生成し、ディスプレイから出力してもよい。このとき、出力部１５は、現在の動画像内における「部品名」を検出した物体の位置に対応させて、かかる「部品名」を動画像に重畳表示してもよい。これにより、作業者は、自身の作業内容を製造作業中にほぼリアルタイムで詳細に認識することができ、誤りにも気づきやすくなる。

＜実施形態３＞
次に、本発明の第３の実施形態を、図１７乃至図２０を参照して説明する。図１７乃至図１８は、実施形態３における製造管理装置の構成を示すブロック図であり、図１９乃至図２０は、製造管理装置の動作を示すフローチャートである。なお、本実施形態では、実施形態１，２で説明した管理装置１０及び管理装置１０による処理方法の構成の概略を示している。

まず、図１７を参照して、本実施形態における製造管理装置１００のハードウェア構成を説明する。製造管理装置１００は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３（記憶装置）
・ＲＡＭ１０３にロードされるプログラム群１０４
・プログラム群１０４を格納する記憶装置１０５
・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
・データの入出力を行う入出力インタフェース１０８
・各構成要素を接続するバス１０９

そして、製造管理装置１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図１８に示す取得部１２１と関連付け部１２２を構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した取得部１２１と関連付け部１２２とは、電子回路で構築されるものであってもよい。

なお、図１７は、製造管理装置１００である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に例示されない。例えば、情報処理装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。

そして、製造管理装置１００は、上述したようにプログラムによって構築された取得部１２１と関連付け部１２２との機能により、図１９あるいは図２０のフローチャートに示す製造管理方法を実行する。

図１９に示すように、製造管理装置１００は、
製品の製造過程に含まれる製造工程において製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、当該製造工程において製品に対する製造作業を行う人物の動作を表す動作情報を取得し（ステップＳ１０１）、
取得した製品の固有情報と前記動作情報とを関連付けて記憶する（ステップＳ１０２）。

また、図２０に示すように、製造管理装置１００は、
製品の製造過程に含まれる製造工程において製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、当該製造工程において製品に対する製造作業を行う人物の動作を表す動作情報を取得し（ステップＳ１０１）、
取得した製品の固有情報と前記動作情報とを関連付けて記憶し（ステップＳ１０２）、
製品の評価の際に、製品を撮影した撮影画像から当該製品の固有情報を取得して、取得した固有情報と同一の固有情報に関連付けて記憶されている前記動作情報を読み出し（ステップＳ１０３）、
読み出した前記動作情報に基づいて、製品の評価に対応する人物の作業動作を特定する（ステップＳ１０４）。

本発明は、以上のように構成されることにより、製品の製造工程において、当該製品の固有情報と、製造工程における製造作業を行う人物の動作を表す動作情報と、を取得して、関連付けて記憶している。このため、同一の製品の各製造工程における人物の動作情報をまとめて関連付けて記憶しておくことができる。

そして、本発明は、製品の評価時に、製品の固有情報を取得して、かかる固有情報を用いて、同一の固有情報に関連付けられて記憶されている製品の各製造工程時における動作情報を読み出す。これにより、製品の評価に対応する各製造工程時の作業動作を遡って確認することができる。

さらに、本発明では、読み出した製造工程毎の作業動作に基づいて、製品の評価に対応する作業動作を特定する。これにより、製品の品質の製造工程上における要因を詳細に特定することができる。

＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における製造管理方法、製造管理装置、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。

（付記１）
製品の製造過程に含まれる製造工程において製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、当該製造工程において製品に対する製造作業を行う人物の動作を表す動作情報を取得し、
取得した製品の固有情報と前記動作情報とを関連付けて記憶し、
製品の評価の際に、製品を撮影した撮影画像から当該製品の固有情報を取得して、取得した固有情報と同一の固有情報に関連付けて記憶されている前記動作情報を読み出し、
読み出した前記動作情報に基づいて、製品の評価に対応する人物の作業動作を特定する、
製造管理方法。

（付記２）
製品の製造過程に含まれる製造工程において製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、当該製造工程において製品に対する製造作業を行う人物の動作を表す動作情報を取得し、
取得した製品の固有情報と前記動作情報とを関連付けて記憶する、
製造管理方法。

（付記３）
付記２に記載の製造管理方法であって、
製品の評価の際に、製品を撮影した撮影画像から当該製品の固有情報を取得して、取得した固有情報と同一の固有情報に関連付けて記憶されている前記動作情報を読み出す、
製造管理方法。

（付記４）
付記３に記載の製造管理方法であって、
製品の評価の際に読み出した前記動作情報に基づいて、製品の評価に対応する人物の作業動作を特定する、
製造管理方法。

（付記５）
付記４に記載の製造管理方法であって、
評価の内容が異なる製品毎に当該製品の評価の際に読み出した前記動作情報に基づいて、製品の評価の内容と前記動作情報との相関関係を特定する、
製造管理方法。

（付記６）
付記４又は５に記載の製造管理方法であって、
製品の評価と、当該製品の評価に対応する特定した前記人物の作業動作と、に基づいて、人物に対する作業動作を支援する動作支援情報を出力する、
製造管理方法。

（付記７）
付記６に記載の製造管理方法であって、
製造工程において製品に対する製造作業を行う人物に対して前記動作支援情報を出力する、
製造管理方法。

（付記８）
付記６又は７に記載の製造管理方法であって、
製造工程において製品に対する製造作業を行う人物を撮影した人物画像を前記動作情報として取得し、
前記人物画像に基づいて前記動作支援情報を生成して出力する、
製造管理方法。

（付記９）
付記８に記載の製造管理方法であって、
前記人物画像に基づいて、人物に対する作業動作を支援する文字情報からなる前記動作支援情報を生成して出力する、
製造管理方法。

（付記１０）
付記４乃至９のいずれかに記載の製造管理方法であって、
製品の評価と、当該製品の評価に対応する特定した前記人物の作業動作と、を関連付けて記憶し、
その後、製造工程において製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、当該製造工程において製品に対する製造作業を行う人物の前記動作情報を取得し、取得した前記動作情報に対応する前記人物の作動動作に関連付けて記憶された製品の評価を、取得した固有情報を有する製品の品質と評価する、
製造管理方法。

（付記１１）
付記１乃至１０のいずれかに記載の製造管理方法であって、
製造工程毎に、製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、当該製造工程における前記動作情報を取得し、
同一の製造工程で取得した製品の固有情報と前記動作情報とを関連付けて記憶し、
製品の評価の際に、製品を撮影した撮影画像から当該製品の固有情報を取得して、取得した固有情報と同一の固有情報に関連付けて記憶されている製造工程毎の前記動作情報を読み出し、
読み出した製造工程毎の前記動作情報に基づいて、製品の評価に対応する人物の作業動作を特定する、
製造管理方法。

（付記１２）
製品の製造過程に含まれる製造工程において製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、当該製造工程において製品に対する製造作業を行う人物の動作を表す動作情報を取得する取得部と、
取得した製品の固有情報と前記動作情報とを関連付けて記憶する関連付け部と、
を備えた製造管理装置。

（付記１３）
付記１２に記載の製造管理装置であって、
製品の評価の際に、製品を撮影した撮影画像から当該製品の固有情報を取得して、取得した固有情報と同一の固有情報に関連付けて記憶されている前記動作情報を読み出す評価部を備えた、
製造管理装置。

（付記１４）
付記１３に記載の製造管理装置であって、
製品の評価の際に読み出した前記動作情報に基づいて、製品の評価に対応する人物の作業動作を特定する特定部を備えた、
製造管理装置。

（付記１５）
付記１４に記載の製造管理装置であって、
前記特定部は、評価の内容が異なる製品毎に当該製品の評価の際に読み出した前記動作情報に基づいて、製品の評価の内容と前記動作情報との相関関係を特定する、
製造管理装置。

（付記１６）
付記１４又は１５に記載の製造管理装置であって、
製品の評価と、当該製品の評価に対応する特定した前記人物の作業動作と、に基づいて、人物に対する作業動作を支援する動作支援情報を出力する出力部を備えた、
製造管理装置。

（付記１７）
付記１６に記載の製造管理装置であって、
前記出力部は、製造工程において製品に対する製造作業を行う人物に対して前記動作支援情報を出力する、
製造管理装置。

（付記１８）
付記１６又は１７に記載の製造管理装置であって、
前記取得部は、製造工程において製品に対する製造作業を行う人物を撮影した人物画像を前記動作情報として取得し、
前記出力部は、前記人物画像に基づいて前記動作支援情報を生成して出力する、
製造管理装置。

（付記１９）
付記１８に記載の製造管理装置であって、
前記出力部は、前記人物画像に基づいて、人物に対する作業動作を支援する文字情報からなる前記動作支援情報を生成して出力する、
製造管理装置。

（付記２０）
付記１４乃至１９のいずれかに記載の製造管理装置であって、
前記特定部は、製品の評価と、当該製品の評価に対応する特定した前記人物の作業動作と、を関連付けて記憶し、
その後、前記取得部は、製造工程において製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、当該製造工程において製品に対する製造作業を行う人物の前記動作情報を取得し、前記評価部は、取得した前記動作情報に対応する前記人物の作動動作に関連付けて記憶された製品の評価を、取得した固有情報を有する製品の品質と評価する、
製造管理装置。

（付記２０．１）
付記１２乃至２０のいずれかに記載の製造管理装置であって、
前記取得部は、製造工程毎に、製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、当該製造工程における前記動作情報を取得し、
前記関連付け部は、同一の製造工程で取得した製品の固有情報と前記動作情報とを関連付けて記憶し、
前記評価部は、製品の評価の際に、製品を撮影した撮影画像から当該製品の固有情報を取得して、取得した固有情報と同一の固有情報に関連付けて記憶されている製造工程毎の前記動作情報を読み出し、
前記特定部は、読み出した製造工程毎の前記動作情報に基づいて、製品の評価に対応する人物の作業動作を特定する、
製造管理装置。

（付記２１）
情報処理装置に、
製品の製造過程に含まれる製造工程において製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、当該製造工程において製品に対する製造作業を行う人物の動作を表す動作情報を取得する取得部と、
取得した製品の固有情報と前記動作情報とを関連付けて記憶する関連付け部と、
を実現させるためのプログラム。

（付記２１．１）
付記２１に記載のプログラムであって、
前記情報処理装置に、製品の評価の際に、製品を撮影した撮影画像から当該製品の固有情報を取得して、取得した固有情報と同一の固有情報に関連付けて記憶されている前記動作情報を読み出す評価部をさらに実現させるためのプログラム。

（付記２１．２）
付記２１．１に記載のプログラムであって、
前記情報処理装置に、製品の評価の際に読み出した前記動作情報に基づいて、製品の評価に対応する人物の作業動作を特定する特定部をさらに実現させるためのプログラム。

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

１０ 管理装置
１１ 取得部
１２ 蓄積部
１３ 評価部
１４ 特定部
１５ 出力部
１６ 工程データ記憶部
１７ 動作データ記憶部
１８ 評価データ記憶部
１００ 製造管理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ プログラム群
１０５ 記憶装置
１０６ ドライブ装置
１０７ 通信インタフェース
１０８ 入出力インタフェース
１０９ バス
１１０ 記憶媒体
１１１ 通信ネットワーク
１２１ 取得部
１２２ 関連付け部

Claims (7)

1. 製品の製造過程に含まれる複数の製造工程においてそれぞれ製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、複数の製造工程においてそれぞれ製品に対する製造作業を行う人物の動作を表す動作情報を取得し、
   同一の製造工程において取得した製品の固有情報と前記動作情報とを関連付けて記憶し、さらに、異なる製造工程で取得した製品の固有情報が一致している場合に、異なる製造工程で取得した前記動作情報を１つの固有情報にまとめて関連付けて記憶し、
   製品の評価の際に、製品を撮影した撮影画像から当該製品の固有情報を取得して、取得した固有情報と同一の固有情報に関連付けて記憶されている前記動作情報を読み出し、
   評価の内容が正常状態である製品の評価の際に読み出した前記動作情報と、評価の内容が異常状態である製品の評価の際に読み出した前記動作情報と、の比較に基づいて、異常状態である製品の評価の内容に相関関係がある前記動作情報を特定する、
   製造管理方法。
2. 請求項１に記載の製造管理方法であって、
   製品の評価と、当該製品の評価に対応する特定した前記人物の作業動作と、に基づいて、人物に対する作業動作を支援する動作支援情報を出力する、
   製造管理方法。
3. 請求項２に記載の製造管理方法であって、
   製造工程において製品に対する製造作業を行う人物を撮影した人物画像を前記動作情報として取得し、
   前記人物画像に基づいて前記動作支援情報を生成して出力する、
   製造管理方法。
4. 請求項１乃至３のいずれかに記載の製造管理方法であって、
   製品の評価と、当該製品の評価に対応する特定した前記人物の作業動作と、を関連付けて記憶し、
   その後、製造工程において製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、当該製造工程において製品に対する製造作業を行う人物の前記動作情報を取得し、取得した前記動作情報に対応する前記人物の作業動作に関連付けて記憶された製品の評価を、取得した固有情報を有する製品の品質と評価する、
   製造管理方法。
5. 請求項１乃至４のいずれかに記載の製造管理方法であって、
   製造工程毎に、製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、当該製造工程における前記動作情報を取得し、
   同一の製造工程で取得した製品の固有情報と前記動作情報とを関連付けて記憶し、
   製品の評価の際に、製品を撮影した撮影画像から当該製品の固有情報を取得して、取得した固有情報と同一の固有情報に関連付けて記憶されている製造工程毎の前記動作情報を読み出し、
   読み出した製造工程毎の前記動作情報に基づいて、製品の評価に対応する人物の作業動作を特定する、
   製造管理方法。
6. 製品の製造過程に含まれる複数の製造工程においてそれぞれ製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、複数の製造工程においてそれぞれ製品に対する製造作業を行う人物の動作を表す動作情報を取得する取得部と、
   同一の製造工程において取得した製品の固有情報と前記動作情報とを関連付けて記憶し、さらに、異なる製造工程で取得した製品の固有情報が一致している場合に、異なる製造工程で取得した前記動作情報を１つの固有情報にまとめて関連付けて記憶する関連付け部と、
   製品の評価の際に、製品を撮影した撮影画像から当該製品の固有情報を取得して、取得した固有情報と同一の固有情報に関連付けて記憶されている前記動作情報を読み出す評価部と、
   評価の内容が正常状態である製品の評価の際に読み出した前記動作情報と、評価の内容が異常状態である製品の評価の際に読み出した前記動作情報と、の比較に基づいて、異常状態である製品の評価の内容に相関関係がある前記動作情報を特定する特定部と、
   を備えた製造管理装置。
7. 情報処理装置に、
   製品の製造過程に含まれる複数の製造工程においてそれぞれ製品を撮影した撮影画像から当該製品の固有情報を取得すると共に、複数の製造工程においてそれぞれ製品に対する製造作業を行う人物の動作を表す動作情報を取得する取得部と、
   同一の製造工程において取得した製品の固有情報と前記動作情報とを関連付けて記憶し、さらに、異なる製造工程で取得した製品の固有情報が一致している場合に、異なる製造工程で取得した前記動作情報を１つの固有情報にまとめて関連付けて記憶する関連付け部と、
   製品の評価の際に、製品を撮影した撮影画像から当該製品の固有情報を取得して、取得した固有情報と同一の固有情報に関連付けて記憶されている前記動作情報を読み出す評価部と、
   評価の内容が正常状態である製品の評価の際に読み出した前記動作情報と、評価の内容が異常状態である製品の評価の際に読み出した前記動作情報と、の比較に基づいて、異常状態である製品の評価の内容に相関関係がある前記動作情報を特定する特定部と、
   を実現させるためのプログラム。

Images