WO2021019821A1 - 情報管理システム、情報管理方法 - Google Patents

Abstract

対象物に対して実行される処理を制御する制御装置と、制御装置と関連付けて配置され、対象物を撮像して得られる１又は複数の画像データに対する処理を実行する画像処理装置と、記憶装置と、を備え、制御装置は、画像処理装置に対して、対象物の撮像タイミングを通知するとともに対象物に関する識別情報を送信し、かつ当該撮像タイミングに対応して対象物に関する処理に関わる情報と識別情報とを紐付けた第１データを記憶装置へ格納し、画像処理装置は、制御装置から通知される撮像タイミングに対応して対象物を撮像して得られる１又は複数の画像データに対する処理を行うことにより対象物に関わる情報を得て、当該対象物に関わる情報と当該画像データと識別情報とを紐付けた第２データを記憶装置へ格納する、情報管理システムである。

Description

情報管理システム、情報管理方法

　本発明は、各種製品の製造プロセスにおける不具合等の分析に利用される情報を管理する技術に関する。

　各種製品の製造プロセスにおいては、工程管理のために各製造工程における種々の情報、例えば各種センサの検出値、画像認識処理を行った際の画像データや認識結果といった情報が記録される（例えば、特開２００１－１４４９７９号公報参照）。

　ところで、上記したような従来の工程管理においては、例えば画像データ等の記録に際しては当該画像データ等に対してそれらの採取時刻（あるいは連番）を対応付けて記録されていた。また、各種センサの検出値については、例えば一定周期で採取するか、あるいは各製品個別に１つの工程が完了する際に採取し、その採取時刻とセンサの検出値とを対応づけて記録されていた。このため、例えば不具合の分析を行おうとした場合には、採取時刻を頼りにして必要な画像データ等とセンサの検出値の組み合わせを見つけ出す必要が生じる。また、センサの検出値について各工程の完了時に採取していたとすると、画像データ等の採取時刻とは必ずしも整合しない。他方、センサの検出値について一定周期で採取していたとすると、そのデータ量が膨大となってしまう。

　以上のようなことから、記録した情報を不具合の分析等に活用しようとした際には、的確な情報を見つけ出すために多大な手間を要するという不都合がある。特に、画像データ等が複数採取されているような場合にはその手間がさらに膨大となる。また、各工程間にわたっての不具合を分析したい等の場合においてもその手間がさらに膨大となる。

特開２００１－１４４９７９号公報

　そこで、本発明は、製造プロセスにおける分析を容易に行うことのできる情報が得られる情報管理システム及び情報管理方法を提供する。

　本開示の一態様に係る情報管理システムは、対象物に対して実行される処理を制御する制御装置と、制御装置と関連付けて配置され、対象物を撮像して得られる１又は複数の画像データに対する処理を実行する画像処理装置と、制御装置及び画像処理装置の各々と通信可能に接続される記憶装置と、を備え、制御装置は、画像処理装置に対して、対象物の撮像タイミングを通知するとともに対象物に関する識別情報を送信し、かつ当該撮像タイミングに対応して対象物に関する処理に関わる情報と識別情報とを紐付けた第１データを記憶装置へ格納し、画像処理装置は、制御装置から通知される撮像タイミングに対応して対象物を撮像して得られる１又は複数の画像データに対する処理を行うことにより対象物に関わる情報を得て、当該対象物に関わる情報と当該画像データと識別情報とを紐付けた第２データを記憶装置へ格納する、情報管理システムである。

　この態様によれば、撮像タイミング毎に識別情報を付与することで、制御装置から得られる情報と画像処理装置から得られる情報の同期管理が容易となるので、製造プロセスにおける分析を容易に行うことのできる情報が得られる情報管理システムを提供することができる。

　上記態様において、識別情報は、撮像タイミングに関する時刻を特定する情報、対象物の個体を識別する情報、対象物に対する処理に関わる工程を特定する情報、対象物に対する処理に関わる設備を特定する情報のうちの少なくとも１つを含んでもよい。

　この態様によれば、特段に新たな情報を生成せずとも一般的な製造プロセスにて容易に取得可能な情報を用いて識別情報を得ることができる。

　上記態様において、第１データと第２データの各々は、デリミタにより項目が区切られたデータ形式にて記憶装置へ格納されてもよい。

　この態様によれば、第１データ、第２データの各々に含ませ得る項目の数を可変にすることができる。また、特別なデータベースを用いる必要がないことから保守が容易であり、かつ構成の簡素化を図ることができる。

　上記態様において、対象物に関する処理に関わる情報は、センサによる検出値を含んでもよい。

　この態様によれば、製造プロセスに関わる各種の管理値（一例として、トルク、圧力、流量等）を撮像タイミング毎に得て、適宜分析などに用いることができる。

　上記態様において、対象物に関わる情報は、画像データに基づいて得られる計測値を含んでもよい。

　この態様によれば、画像データに基づく計測値（一例として、高さ、幅等）を撮像タイミング毎に得て、適宜分析などに用いることができる。

　本開示の他の態様に係る情報処理方法は、制御装置と、制御装置と関連付けて配置される画像処理装置と、当該制御装置と画像処理装置の各々と通信可能に接続される記憶装置とを含むシステムにおける情報管理方法であって、制御装置が、対象物に対して実行される処理を制御する第１ステップと、画像処理装置が、対象物を撮像して得られる１又は複数の画像データに対する処理を実行する第２ステップと、を含み、第１ステップにおいて、制御装置は、画像処理装置に対して、対象物の撮像タイミングを通知するとともに対象物に関する識別情報を送信し、かつ当該撮像タイミングに対応して対象物に関する処理に関わる情報と識別情報とを紐付けた第１データを記憶装置へ格納し、第２ステップにおいて、画像処理装置は、制御装置から通知される撮像タイミングに対応して対象物を撮像して得られる１又は複数の画像データに対する処理を行うことにより対象物に関わる情報を得て、当該対象物に関わる情報と当該画像データと識別情報とを紐付けた第２データを記憶装置へ格納する、情報管理方法である。

　この態様によれば、撮像タイミング毎に識別情報を付与することで、制御装置から得られる情報と画像処理装置から得られる情報の同期管理が容易となるので、製造プロセスにおける分析を容易に行うことのできる情報が得られる情報管理方法を提供することができる。

　製造プロセスにおける分析を容易に行うことのできる情報が得られる情報管理システム及び情報管理方法を提供することができる。

本実施形態に係る情報管理システムの全体構成を示す機能ブロック図である。 設備制御システムの構成例を示す図である。 画像処理システムの構成例を示す図である。 ストレージの構成例を示す図である。 情報処理装置の構成例を示す図である。 設備制御システムと画像処理システムのそれぞれによりストレージに格納されるデータの構造例を示す図である。 設備制御システムにおける撮像タイミングの通知およびセンサデータの生成に係る動作手順を示すフローチャートである。 設備制御システムにおけるセンサデータの送信に係る動作手順を示すフローチャートである。 画像処理システムにおける画像データおよび計測データの送信に係る動作手順を示すフローチャートである。 情報処理装置にてストレージから参照できるデータを説明するための図である。 情報処理装置にてストレージから参照できるデータを説明するための図である。

　以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

　§１　適用例
　まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る情報管理システムの全体構成を示す機能ブロック図である。情報管理システム１は、コンベア８０で連続的に搬送される対象物８２に対してロボット１２等により実行される処理を制御する制御装置１０と、制御装置１０と関連付けて配置され、対象物８２を撮像して得られる１又は複数の画像データに対する処理を実行する画像処理装置２０と、制御装置１０及び画像処理装置２０の各々とネットワーク５０を介して通信可能に接続される記憶装置３０と、を備える。制御装置１０は、画像処理装置２０に対して、対象物８２の撮像タイミングを通知するとともに対象物８２に関する識別情報を送信し、かつ当該撮像タイミングに対応して対象物８２に関する処理に関わる情報と識別情報とを紐付けた第１データ（センサデータ）を記憶装置３０へ格納（記録）する。画像処理装置２０は、制御装置１０から通知される撮像タイミングに対応してカメラ７０により対象物８２を撮像して得られる１又は複数の画像データに対する処理を行うことにより対象物８２に関わる情報を得て、当該対象物に関わる情報と当該画像データと識別情報とを紐付けた第２データ（画像データ、計測データ）を記憶装置へ格納（記録）する。

　識別情報としては、撮像タイミングに関する時刻を特定する情報、対象物８２の個体を識別する情報、対象物８２に対する処理に関わる工程を特定する情報、対象物８２に対する処理に関わる設備を特定する情報などのうち、いずれか１つ以上を好適に用いることができる。なお、撮像タイミングに関する時刻を特定する情報とは、典型的には撮像タイミングを通知した時刻である。

　また、対象物８２に関する処理に関わる情報とは、例えば、工程における処理に関してセンサによって検出可能な物理量又は文字列であり、一例としてトルク、流量、圧力、長さなどが挙げられる。また、対象物８２に関わる情報とは、例えば、画像データに基づいて画像認識処理などを行うことで得られる計測値又は文字列であり、一例として、長さ、色味、欠陥の有無を示す情報などが挙げられる

　情報管理システム１では、上記のような識別情報を共通情報として、第１データと第２データの各々に紐付けて記憶装置３０へ記憶させるので、製造プロセスの分析等を行いたい場合には、情報処理装置４０を用い、識別情報に基づいて特定の場面（例えば、特定の時刻、特定の工程等）における各情報を抽出して用いることができる。なお、第１データと第２データの各々については、デリミタ（区切り文字／記号）により項目が区切られた汎用的なデータ形式にて記憶装置３０へ格納されることが望ましい。それにより、項目数を可変にすることができるとともに、特別なデータベースを用いる必要がなくなる。

　§２　構成例
　次に、図１を用いて本実施形態に係る情報管理システムの機能構成の一例を説明する。本実施形態に係る情報管理システム１は、各種製品の製造プロセスにおける不具合等の分析に利用される情報を管理するために用いられるものであり、設備制御システム（制御装置）１０、画像処理システム（画像処理装置）２０、ストレージ（記憶装置）３０、情報処理装置４０、ネットワーク５０を含んで構成されている。設備制御システム１０、画像処理システム２０、ストレージ３０、情報処理装置４０は、各々ネットワーク５０に接続されており、相互間において情報通信可能に構成されている。ネットワーク５０は、例えばローカルエリアネットワークである。

　なお、図１では説明の便宜上、設備制御システム１０および画像処理システム２０を１つずつ示しているが、実際には、製造プロセスに含まれる各工程に対してそれぞれに設備制御システム１０と画像処理システム２０が対応づけて設けられる。

　設備制御システム１０は、各工程における所定の加工等の処理を実行するためにロボット１２やその他の製造設備を制御し、かつ処理の際の情報である各種センサの検出値を取得してそのデータ（以下、「センサデータ」という。）ストレージ３０へ記録する。センサデータは、対象となる工程における加工処理の内容に応じて設定されるものであり、一例として、トルク値、速度、位置、高さや幅などの長さ、流量値、圧力値など様々なものが挙げられる。

　画像処理システム２０は、各工程における所定の加工等の処理が実行される際に、処理の対象物８２である部品や半製品等（以下、これらを総称して「ワーク８２」という。）をカメラ７０により撮影して得られた画像に対して所定の画像処理を行うことによりワーク８２に関する計測データを求め、当該計測データと画像データをストレージ３０へ記録する。計測データは、対象となる工程において得たい情報に対応して設定されるものであり、一例として、高さや幅などの長さ、文字認識で得られる文字列など様々なものが挙げられる

　ストレージ３０は、ネットワーク５０を介して設備制御システム１０や画像処理システム２０から送信される各種データを記憶するためのものである。

　情報処理装置４０は、例えば一般的・汎用的なパーソナルコンピュータを用いて構成されており、ストレージ３０に記憶された各種データを参照し、不具合の分析等を行うために用いられる。

　図１に示すように、本実施形態の情報管理システム１では、各工程において加工等の処理を行う際にその対象であるワーク８２の画像を撮影すべき時期（以下「撮像タイミング」という。）を設備制御システム１０から画像処理システム２０に対して通知するとともに、当該通知に対応するワーク８２を識別（特定）するための情報である識別情報を設備制御システム１０から画像処理システム２０に対して送信する。そして、設備制御システム１０は、撮影タイミングに対応して採取したセンサデータに対して上記の識別情報を紐付けて（付加して）ストレージ３０へ記録する。また、画像処理システム２０は、撮影タイミングに対応して採取した画像データ（複数でもよい）および計測データに対して上記の識別情報を紐付けて（付加して）ストレージ３０へ記録する。このようにすることで、情報処理装置４０において分析を行う際には、識別情報を共通情報として用いることで撮影タイミングごとのセンサデータ、画像データおよび計測データを一意に特定して抽出し用いることができる。以下、さらに詳細に説明する。

　図２は、設備制御システムの構成例を示す図である。図示の設備制御システム１０は、プロセッサ１０１と、システムコントローラ１０２と、Ｉ／Ｏコントローラ１０３と、ＲＡＭ１０４と、記憶部１０５と、入力インタフェース（ＩＦ）１０７と、出力インタフェース（ＩＦ）１０８と、通信インタフェース（ＩＦ）１０９と、メモリカードインタフェース（ＩＦ）１１０とを含んで構成されている。これらの各コンポーネントは、システムコントローラ１０２を中心として互いにデータ通信可能に結合される。

　プロセッサ１０１は、システムコントローラ１０２との間で記憶部１０５に格納されたオペレーティングシステム（ＯＳ：Operating　System）および設備制御プログラム１０６を含む各種プログラムをやり取りして、これらを所定順序で実行することで、製造設備システム１０の全体を制御する。

　システムコントローラ１０２は、プロセッサ１０１、Ｉ／Ｏコントローラ１０３、ＲＡＭ１０４、記憶部１０５とそれぞれバスを介して接続されており、各部との間でデータ交換などを行う。

　Ｉ／Ｏコントローラ１０３は、記憶部１０５、入力ＩＦ１０７、出力ＩＦ１０８、通信ＩＦ１０９、メモリカードＩＦ１１０のそれぞれと接続されており、各々との間でデータ交換を制御する。

　ＲＡＭ１０４は、プロセッサ１０１でのプログラム実行に必要なデータを格納するための作業領域を提供する。

　記憶部１０５は、プロセッサ１０１で実行されるプログラムなどを不揮発的に格納するものであり、例えばハードディスクドライブ（ＨＤＤ：Hard　Disk　Drive）を用いて構成されている。上記した設備制御プログラム１０６はこの記憶部１０５に格納されている。

　入力ＩＦ１０７は、製造設備に設けられる各種のセンサ６０とプロセッサ１０１との間のデータ交換を仲介する。なお、各センサ６０としては、製造設備において用いられ得る種々のセンサが考えられ、その一例を挙げると、圧力センサ、流量センサ、トルクセンサ、速度センサ、位置センサなどである。

　出力ＩＦ１０８は、製造設備に設けられ、設備制御システム１０の制御対象となる各種のサーボ６１やその他の設備６２とプロセッサ１０１との間のデータ交換を仲介する。

　通信ＩＦ１０９は、プロセッサ１０１と上記した画像処理システム２０やストレージ３０との間におけるネットワーク５０を介したデータ通信を仲介するものである。

　メモリカードＩＦ１１０は、着脱可能なメモリカード６３に対するデータの書き込みおよびメモリカード６３からのデータの読み出しなどを行うものである。

　図３は、画像処理システムの構成例を示す図である。図示の画像処理システム２０は、メインプロセッサ２０１と、画像処理プロセッサ２０２と、Ｉ／Ｏコントローラ２０３と、ＲＡＭ２０４と、記憶部２０５と、カメラインタフェース（ＩＦ）２０７と、通信インタフェース（ＩＦ）２０８と、メモリカードインタフェース（ＩＦ）２０９とを含んで構成されている。これらの各コンポーネントは、互いにデータ通信可能に結合される。

　メインプロセッサ２０１は、記憶部２０５に格納されたオペレーティングシステム（ＯＳ：Operating　System）および画像処理プログラム２０６を含む各種プログラムをやり取りして、これらを所定順序で実行することで、画像処理システム２０を制御する。

　画像処理プロセッサ２０２は、カメラＩＦ２０７を介して各カメラ７０から得られる画像に基づいて画像処理を行うことによりワーク８２に関する計測データを求める。

　Ｉ／Ｏコントローラ２０３は、ＲＡＭ２０４、記憶部２０５、カメラＩＦ２０７、通信ＩＦ２０８、メモリカードＩＦ２０９のそれぞれと接続されており、各々との間でデータ交換を制御する。

　ＲＡＭ２０４は、メインプロセッサ２０１でのプログラム実行に必要なデータを格納するための作業領域を提供する。

　記憶部２０５は、メインプロセッサ２０１で実行されるプログラムなどを不揮発的に格納するものであり、例えばハードディスクドライブ（ＨＤＤ：Hard　Disk　Drive）を用いて構成されている。上記した画像処理プログラム２０６はこの記憶部２０５に格納されている。

　カメラＩＦ２０７は、製造設備に設けられる各カメラ７０とメインプロセッサ２０１および画像処理プロセッサ２０２との間のデータ交換を仲介する。なお、各カメラ７０は、製造設備においてワーク８２の状態を複数の方向から撮影するために設置されている。

　通信ＩＦ２０８は、メインプロセッサ２０１と上記した製造設備システム１０やストレージ３０との間におけるネットワーク５０を介したデータ通信を仲介するものである。

　メモリカードＩＦ２０９は、着脱可能なメモリカード７１に対するデータの書き込みおよびメモリカード７１からのデータの読み出しなどを行うものである。

　図４は、ストレージの構成例を示す図である。図示のストレージ３０は、メインプロセッサ３０１と、Ｉ／Ｏコントローラ３０２と、ＲＡＭ３０３と、通信インタフェース（ＩＦ）３０４と、記憶部３０５とを含んで構成されている。これらの各コンポーネントは、互いにデータ通信可能に結合される。

　メインプロセッサ３０１は、記憶部３０５に格納されたオペレーティングシステム（ＯＳ：Operating　System）および制御プログラムを含む各種プログラムをやり取りして、これらを所定順序で実行することで、ストレージ３０を制御する。

　Ｉ／Ｏコントローラ３０２は、ＲＡＭ３０３、通信ＩＦ３０４、記憶部３０５とそれぞれと接続されており、各々との間でデータ交換を制御する。

　ＲＡＭ３０３は、メインプロセッサ３０１でのプログラム実行に必要なデータを格納するための作業領域を提供する。

　通信ＩＦ３０４は、メインプロセッサ３０１と上記した製造設備システム１０や画像処理システム２０との間におけるネットワーク５０を介したデータ通信を仲介するものである。

　記憶部３０５は、メインプロセッサ３０１で実行されるプログラムや各種データなどを不揮発的に格納するものであり、例えばハードディスクドライブ（ＨＤＤ：Hard　Disk　Drive）を用いて構成されている。この記憶部３０５には、画像処理システム２０から送信される画像データ３０６および計測データ３０７、設備制御システム１０から送信されるセンサデータ３０８が格納される。

　図５は、情報処理装置の構成例を示す図である。図示の情報処理装置４０は、例えば汎用的なパーソナルコンピュータを用いて構成されており、メインプロセッサ４０１と、Ｉ／Ｏコントローラ４０２と、ＲＡＭ４０３と、通信インタフェース（ＩＦ）４０４と、記憶部４０５とを含んで構成されている。これらの各コンポーネントは、互いにデータ通信可能に結合される。

　メインプロセッサ４０１は、記憶部４０５に格納されたオペレーティングシステム（ＯＳ：Operating　System）および参照・分析プログラム４０６を含む各種プログラムをやり取りして、これらを所定順序で実行することで、ストレージ３０に格納されている画像データ３０６、計測データ３０７、センサデータ３０８の参照や分析のための処理を行う。各データに基づく参照や分析は図示しない入力部（例えばキーボード、マウス等）を用いた入力に応じて行われ、その内容は図示しない表示部（例えば液晶ディスプレイ）の画面上に表示される。

　Ｉ／Ｏコントローラ４０２は、ＲＡＭ４０３、通信ＩＦ４０４、記憶部４０５とそれぞれと接続されており、各々との間でデータ交換を制御する。

　ＲＡＭ４０３は、メインプロセッサ４０１でのプログラム実行に必要なデータを格納するための作業領域を提供する。

　通信ＩＦ４０４は、メインプロセッサ４０１とストレージ３０との間におけるネットワーク５０を介したデータ通信を仲介するものである。

　記憶部４０５は、メインプロセッサ４０１で実行されるプログラムや各種データなどを不揮発的に格納するものであり、例えばハードディスクドライブ（ＨＤＤ：Hard　Disk　Drive）を用いて構成されている。

　図６は、設備制御システムと画像処理システムのそれぞれによりストレージに格納されるデータの構造例を示す図である。ここでは、設備制御システム１０によってストレージ３０に格納されるデータを「設備制御システム情報」と呼び、画像処理システム２０によってストレージ３０に格納されるデータを「画像処理システム情報」と呼ぶ。

　設備制御システム情報は、大別して、画像処理システム情報との対応付けに用いる情報である「紐付け情報」と、各センサから得られる「センサデータ（センサ情報）」とを含む。設備制御システム情報は、例えばデリミタ（区切り文字／符号）によって各情報が区切られた汎用的なデータ形式（例えば、ＣＳＶ形式：Conmma　Separated　Value）のファイルにて、設備制御システム１０からストレージ３０へ記録される。それにより、項目数を可変にできるとともにデータベース保守を不要とすることができる。

　紐付け情報には、加工等の処理対象であるワーク８２のそれぞれを識別する情報である個体識別情報（ロットＮｏ）、同情報である個体識別情報（ロットＮｏ内シリアルＮｏ）、工程情報、設備情報、品番情報、撮像時刻が含まれる。

　個体識別情報（ロットＮｏ）は、ワーク８２の属するロットに付与される番号である。個体識別情報（ロットＮｏ内シリアルＮｏ）は、各ロット内において各ワーク８２にそれぞれ付与される番号であり、例えば連番が用いられる。なお、個体の対象により、個体識別情報が１つでよい場合は、個体識別情報（ロットＮｏ）と個体識別情報（ロットＮｏ内シリアルＮｏ）の何れかを省略することもできる。

　工程情報は、ワーク８２に対する加工等の処理を行う各工程を識別する情報である。設備情報は、ワーク８２に対する加工等の処理を行う際に用いられる設備を識別する情報である。なお、設備情報によって工程情報をまかなえる場合には工程情報を省略することができる。品番情報は、ワーク８２に対応する製品ごとに付与される番号などの情報である。撮像時刻は、上記した撮像タイミングを通知した時刻を特定する情報である。

　これら各情報のうち、個体識別情報（ロットＮｏ）、同情報である個体識別情報（ロットＮｏ内シリアルＮｏ）、工程情報、設備情報、撮像時刻の少なくとも１つを「識別情報」として用いることができる。

　センサデータには、センサ情報項目マスター引当情報、１又は複数のセンサ値（数値）、１又は複数のセンサ値（文字列）、その他従属情報が含まれる。センサ情報項目マスター引当情報は、センサ値の数、名称、単位などの引当情報である。センサ値（数値）は、各センサ６０によって得られる検出結果のうち、数値データで表されるものである。センサ値（文字列）は、各センサ６０によって得られる検出結果のうち、文字列データで表されるものである。その他従属情報は、例えば上記した各センサ値に付随する情報等の任意情報である。

　画像処理システム情報は、大別して、設備制御システム情報との対応付けに用いる情報である「紐付け情報」と、画像処理によって得られる「計測データ（計測情報）」とを含む。画像処理システム情報は、例えばデリミタ（区切り文字／符号）によって各情報が区切られた汎用的なデータ形式（例えば、ＣＳＶ形式：Conmma　Separated　Value）のファイルにて、画像処理システム２０からストレージ３０へ記録される。それにより、項目数を可変にできるとともにデータベース保守を不要とすることができる。

　紐付け情報には、加工等の処理対象であるワーク８２のそれぞれを識別する情報である個体識別情報（ロットＮｏ）、同情報である個体識別情報（ロットＮｏ内シリアルＮｏ）、工程情報、設備情報、品番情報、撮像時刻が含まれる。これら各情報は、設備制御システム１０から画像処理システム２０に対して、撮像タイミングの通知に伴って引き渡されるものである。従って、各情報の内容についての詳細な説明を省略する。

　計測データには、撮像カメラ番号、撮像順序、計測データ管理マスター引当情報、１又は複数の計測値（数値）、１又は複数の計測値（文字列）、その他従属情報が含まれる。撮像カメラ番号は、各カメラ７０を識別するための番号である。撮像順序は、計測に用いられた画像の撮像順序を特定する情報である。計測データ管理マスター引当情報は、計測値の数、名称、単位などの引当情報である。計測値（数値）は、各カメラ７０によって得られた画像に基づく画像処理によって得られる計測値のうち、数値データで表されるものである。計測値（文字列）は、各カメラ７０によって得られた画像に基づく画像処理によって得られる計測値のうち、文字列データで表されるものである。その他従属情報は、例えば上記した各計測値に付随する情報等の任意情報である。

　§３　動作例
　図７は、設備制御システムにおける撮像タイミングの通知およびセンサデータの生成に係る動作手順を示すフローチャートである。なお、このフローチャートは例示であり、処理結果に矛盾や不整合を生じない限りにおいて、各ステップの順番を入れ替えてもよいし、図示しない他の処理ステップがさらに含まれてもよい（以下に説明する他のフローチャートにおいても同様）。

　設備制御システム１０のプロセッサ１０１は、電源オン等を契機に処理ループが開始すると、処理を終了するか否かを判定する（ステップＳ１１）。例えば、電源をオフにする操作がなされた場合や、処理を一時的に中段する操作が行われた場合には、プロセッサ１０１は、処理を終了すると判定し（ステップＳ１１；Ｙｅｓ）、一連の処理ループを終了する。

　処理を終了する必要が無い場合には（ステップＳ１１；Ｎｏ）、プロセッサ１０１は、所定の設備制御を行う（ステップＳ１２）。具体的には、プロセッサ１０１は、各サーボ６１やその他の設備６２に対して動作指示を与える。

　次にプロセッサ１０１は、ワーク８２ないしその周辺の画像を取得する撮影タイミングであるか否かを判定する（ステップＳ１３）。撮影タイミングは予め設定されるものであり、例えば、加工等の処理の途中において各センサ６０による検出が行われる時期や、処理完了の時期など種々に設定し得る。

　撮影タイミングである場合には（ステップＳ１３；Ｙｅｓ）、プロセッサ１０１は、各センサ６０による検出結果（数値、文字列）を含むセンサデータをＲＡＭ１０４へ記憶させる（ステップＳ１４）。

　次にプロセッサ１０１は、識別情報を画像処理システム２０へ通知するとともに（ステップＳ１５）、撮像タイミングである旨を画像処理システム２０へ通知する（ステップＳ１６）。上記の通り、識別情報としては、個体識別情報（ロットＮｏ）、個体識別情報（ロットＮｏ内シリアルＮｏ）、工程情報、設備情報、品番情報および撮像時刻が通知される。

　次にプロセッサ１０１は、センサデータのファイルを生成する（ステップＳ１７）。ここでは、図６において説明したような識別情報とセンサデータをまとめたファイルが生成されてメモリカード６３に格納される。上記のように本実施形態では、例えばＣＳＶ形式などの汎用的なデータ形式のファイルが生成される。

　次にプロセッサ１０１は、ステップＳ１７で生成したファイルの送信要求をＲＡＭ１０４へ記憶させる（ステップＳ１８）。その後、ステップＳ１１へ戻る。

　図８は、設備制御システムにおけるセンサデータの送信に係る動作手順を示すフローチャートである。

　設備制御システム１０のプロセッサ１０１は、電源オン等を契機に処理ループが開始すると、処理を終了するか否かを判定する（ステップＳ２１）。例えば、電源をオフにする操作がなされた場合や、処理を一時的に中段する操作が行われた場合には、プロセッサ１０１は、処理を終了すると判定し（ステップＳ２１；Ｙｅｓ）、一連の処理ループを終了する。

　処理を終了する必要が無い場合には（ステップＳ２１；Ｎｏ）、プロセッサ１０１は、ＲＡＭ１０４にファイル送信要求を待機する状態となる（ステップＳ２２）。ＲＡＭ１０４にファイル送信要求が存在しない間（ステップＳ２３；Ｎｏ）、この待機状態が維持される。

　ＲＡＭ１０４にファイル送信要求が存在する場合に（ステップＳ２３；Ｙｅｓ）、プロセッサ１０１は、センサデータのファイルをメモリカード６３から取得し（ステップＳ２４）、このファイルをストレージ３０へ送信する（ステップＳ２５）。これにより、センサデータのファイルがストレージ３０に記憶される。

　次にプロセッサ１０１は、メモリカード６３に格納されていたセンサデータのファイルを削除するとともに（ステップＳ２６）、ＲＡＭ１０４内のファイル送信要求を確定する（ステップＳ２７）。その後、ステップＳ２１へ戻る。

　図９は、画像処理システムにおける画像データおよび計測データの送信に係る動作手順を示すフローチャートである。

　画像処理システム１０のメインプロセッサ２０１は、電源オン等を契機に処理ループが開始すると、処理を終了するか否かを判定する（ステップＳ３１）。例えば、電源をオフにする操作がなされた場合や、処理を一時的に中段する操作が行われた場合には、プロセッサ２０１は、処理を終了すると判定し（ステップＳ３１；Ｙｅｓ）、一連の処理ループを終了する。

　処理を終了する必要が無い場合には（ステップＳ３１；Ｎｏ）、メインプロセッサ２０１は、撮像タイミングの通知を待機する状態となる（ステップＳ３２）。設備制御システム１０から撮像タイミング（撮像要求）の通知がなされない間（ステップＳ３３；Ｎｏ）、この待機状態が維持される。

　設備制御システム１０から撮像タイミング（撮像要求）が通知された場合に（ステップＳ３３；Ｙｅｓ）、メインプロセッサ２０１は、各カメラ７０から画像データ（カメラ画像）を取得するとともに画像処理プロセッサ２０２へ入力させる（ステップＳ３４）。この入力された画像に基づいて画像処理プロセッサ２０２により所定の計測処理や判定処理が行われる（ステップＳ３５）。

　次にメインプロセッサ２０１は、各カメラ７０から取得した画像データと設備制御システム１０から取得した識別情報をまとめたファイル（画像データファイル）を生成し、ストレージ３０へ送信する（ステップＳ３６）。

　同様にメインプロセッサ２０１は、ステップＳ３５の処理によって生成された計測値等の計測データと設備制御システム１０から取得した識別情報をまとめたファイル（計測データファイル）を生成し、ストレージ３０へ送信する（ステップＳ３７）。その後、ステップＳ３１へ戻る。

　図１０および図１１は、情報処理装置にてストレージから参照できるデータを説明するための図である。図１０に示すように、情報処理装置４０によってストレージ３０にアクセスすることで、識別情報を含む紐付け情報５０１に基づいて、計測データを含む画像処理システム情報５０２とセンサデータを含む設備制御システム情報５０３を一意に特定して参照し、必要に応じて各種のデータ分析を行うことができる。また、図１１に示すように、情報処理装置４０によってストレージ３０にアクセスすることで、識別情報を含む紐付け情報５０１に基づいて画像データを含む画像データファイル５０４を一意に特定して参照し、また必要に応じて識別情報を元にこれら画像データファイル５０４と画像処理システム情報５０２や設備制御システム情報５０３を一意に特定して参照し、必要に応じて各種のデータ分析を行うことができる。

　以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。

　［付記１］
　対象物に対して実行される処理を制御する制御装置（１０）と、
　前記制御装置と関連付けて配置され、前記対象物を撮像して得られる１又は複数の画像データに対する処理を実行する画像処理装置（２０）と、
　前記制御装置及び前記画像処理装置の各々と通信可能に接続される記憶装置（３０）と、
を備え、
　前記制御装置は、前記画像処理装置に対して、前記対象物の撮像タイミングを通知するとともに前記対象物に関する識別情報（５０１）を送信し、かつ当該撮像タイミングに対応して前記対象物に関する前記処理に関わる情報（５０３）と前記識別情報（５０１）とを紐付けた第１データを前記記憶装置へ格納し、
　前記画像処理装置は、前記制御装置から通知される前記撮像タイミングに対応して前記対象物を撮像して得られる１又は複数の前記画像データに対する処理を行うことにより前記対象物に関わる情報（５０２）を得て、当該対象物に関わる情報（５０２）と当該画像データ（５０４）と前記識別情報（５０１）とを紐付けた第２データを前記記憶装置へ格納する、
　情報管理システム。

　［付記２］
　前記識別情報（５０１）は、前記撮像タイミングに関する時刻を特定する情報、前記対象物の個体を識別する情報、前記対象物に対する前記処理に関わる工程を特定する情報、前記対象物に対する前記処理に関わる設備を特定する情報のうちの少なくとも１つを含む、
　付記１に記載の情報管理システム。

　［付記３］
　前記第１データと前記第２データの各々は、デリミタにより項目が区切られたデータ形式にて前記記憶装置（３０）へ格納される、
　付記１又は２に記載の情報管理システム。

　［付記４］
　前記対象物に関する前記処理に関わる情報（５０３）は、センサ（６０）による検出値を含む、
　付記１～３の何れか１項に記載の情報管理システム。

　［付記５］
　前記対象物に関わる情報は、前記画像データ（５０４）に基づいて得られる計測値を含む、
　付記１～４の何れか１項に記載の情報管理システム。

　［付記６］
　制御装置（１０）と、前記制御装置と関連付けて配置される画像処理装置（２０）と、当該制御装置と画像処理装置の各々と通信可能に接続される記憶装置（３０）とを含むシステムにおける情報管理方法であって、
　前記制御装置（１０）が、対象物に対して実行される処理を制御する第１ステップと、
　前記画像処理装置（２０）が、前記対象物を撮像して得られる１又は複数の画像データに対する処理を実行する第２ステップと、
を含み、
　前記第１ステップにおいて、前記制御装置（１０）は、前記画像処理装置（２０）に対して、前記対象物の撮像タイミングを通知するとともに前記対象物に関する識別情報（５０１）を送信し、かつ当該撮像タイミングに対応して前記対象物に関する前記処理に関わる情報（５０３）と前記識別情報（５０１）とを紐付けた第１データを前記記憶装置（３０）へ格納し、
　前記第２ステップにおいて、前記画像処理装置（２０）は、前記制御装置（１０）から通知される前記撮像タイミングに対応して前記対象物を撮像して得られる１又は複数の前記画像データ（５０４）に対する処理を行うことにより前記対象物に関わる情報（５０２）を得て、当該対象物に関わる情報（５０２）と当該画像データ（５０４）と前記識別情報（５０１）とを紐付けた第２データを前記記憶装置（３０）へ格納する、
　情報管理方法。

　１：情報管理システム、１０：設備制御システム（制御装置）、１２：ロボット、２０：画像処理システム（画像処理装置）、３０：ストレージ（記憶装置）、４０：情報処理装置、５０：ネットワーク、６０：センサ、６１：サーボ、６２：設備、６３：メモリカード、７０：センサ、７１：メモリカード、８０：コンベア、８２：対象物（ワーク）、１０１：プロセッサ１０１、１０２：システムコントローラ、１０３：Ｉ／Ｏコントローラ、１０４：ＲＡＭ、１０５：記憶装置、１０６：設備制御プログラム、１０７：入力インタフェース（ＩＦ）、１０８：出力インタフェース（ＩＦ）、１０９：通信インタフェース（ＩＦ）、１１０：メモリカードインタフェース（ＩＦ）、２０１：メインプロセッサ、２０２：画像処理プロセッサ、２０３：Ｉ／Ｏコントローラ、２０４：ＲＡＭ、２０５：記憶装置、２０６：画像処理プログラム、２０７：カメラインタフェース（ＩＦ）、２０８：通信インタフェース（ＩＦ）、２０９：メモリカードインタフェース（ＩＦ）、３０１：メインプロセッサ、３０２：Ｉ／Ｏコントローラ、３０３：ＲＡＭ、３０４：通信インタフェース（ＩＦ）、３０５：記憶装置、３０６：画像データ、３０７：計測データ、３０８：センサデータ、４０１：メインプロセッサ、４０２：Ｉ／Ｏコントローラ、４０３：ＲＡＭ、４０４：通信インタフェース（ＩＦ）、４０５：記憶装置、４０６：参照・分析プログラム、５０１：紐付け情報（識別情報）、５０２：画像処理システム情報、５０３：設備制御システム情報、５０４：画像データファイル

Claims (6)

1. 　対象物に対して実行される処理を制御する制御装置と、
   　前記制御装置と関連付けて配置され、前記対象物を撮像して得られる１又は複数の画像データに対する処理を実行する画像処理装置と、
   　前記制御装置及び前記画像処理装置の各々と通信可能に接続される記憶装置と、
   を備え、
   　前記制御装置は、前記画像処理装置に対して、前記対象物の撮像タイミングを通知するとともに前記対象物に関する識別情報を送信し、かつ当該撮像タイミングに対応して前記対象物に関する前記処理に関わる情報と前記識別情報とを紐付けた第１データを前記記憶装置へ格納し、
   　前記画像処理装置は、前記制御装置から通知される前記撮像タイミングに対応して前記対象物を撮像して得られる１又は複数の前記画像データに対する処理を行うことにより前記対象物に関わる情報を得て、当該対象物に関わる情報と当該画像データと前記識別情報とを紐付けた第２データを前記記憶装置へ格納する、
   　情報管理システム。
2. 　前記識別情報は、前記撮像タイミングに関する時刻を特定する情報、前記対象物の個体を識別する情報、前記対象物に対する前記処理に関わる工程を特定する情報、前記対象物に対する前記処理に関わる設備を特定する情報のうちの少なくとも１つを含む、
   　請求項１に記載の情報管理システム。
3. 　前記第１データと前記第２データの各々は、デリミタにより項目が区切られたデータ形式にて前記記憶装置へ格納される、
   　請求項１又は２に記載の情報管理システム。
4. 　前記対象物に関する前記処理に関わる情報は、センサによる検出値を含む、
   　請求項１～３の何れか１項に記載の情報管理システム。
5. 　前記対象物に関わる情報は、前記画像データに基づいて得られる計測値を含む、
   　請求項１～４の何れか１項に記載の情報管理システム。
6. 　制御装置と、前記制御装置と関連付けて配置される画像処理装置と、当該制御装置と画像処理装置の各々と通信可能に接続される記憶装置とを含むシステムにおける情報管理方法であって、
   　前記制御装置が、対象物に対して実行される処理を制御する第１ステップと、
   　前記画像処理装置が、前記対象物を撮像して得られる１又は複数の画像データに対する処理を実行する第２ステップと、
   を含み、
   　前記第１ステップにおいて、前記制御装置は、前記画像処理装置に対して、前記対象物の撮像タイミングを通知するとともに前記対象物に関する識別情報を送信し、かつ当該撮像タイミングに対応して前記対象物に関する前記処理に関わる情報と前記識別情報とを紐付けた第１データを前記記憶装置へ格納し、
   　前記第２ステップにおいて、前記画像処理装置は、前記制御装置から通知される前記撮像タイミングに対応して前記対象物を撮像して得られる１又は複数の前記画像データに対する処理を行うことにより前記対象物に関わる情報を得て、当該対象物に関わる情報と当該画像データと前記識別情報とを紐付けた第２データを前記記憶装置へ格納する、
   　情報管理方法。

Images