JP7321676B2 - 画像データ管理方法、製造装置、生産システム、生産システムの画像管理方法、制御プログラム、および記録媒体 - Google Patents

Description

本発明は、撮像手段で撮像され、記憶装置に格納された画像データを制御装置によって管理する画像データ管理方法、製造装置、生産システム、および生産システムの画像管理方法に関する。

工場の生産ライン等では、製品、あるいは製造途中のワークなどについて、良品／不良品を判定する良品検査（検品）、製品の寸法、形状、位置、姿勢の計測などを行うために画像処理装置が用いられている。また、製造装置の製造機構の動作状態、例えば位置、姿勢、動作ストロークなどを計測するために同様の画像処理装置が用いられることがある。

この種の画像処理装置では、上記のような撮像対象の被写体をデジタルカメラなどの撮像手段で撮像し、取得した画像データを撮像手段内に保管する他、記憶装置（データストレージ）に出力して保管させる場合がある。そして、被写体に問題がある、例えば、製品が不良と判断された場合や、画像処理で得られた計測結果が異常な数値であった場合に、保管された過去の画像データの目視確認やデータ解析を行って製品不良や計測異常の原因を特定するという作業が行われる。また、製品不良や計測異常に至っていない場合も、画像データの変化を確認することにより、将来発生する可能性のあるトラブルを未然に防止するということもまた、一般的に行われている。

一方で、この種の画像処理装置に用いられる産業用カメラで撮像される１画面あたりの画素数は近年大幅に増加しており、微細形状の製品を広い視野で検査、計測するために高画素数のカメラを使用することは少なくない。このような高解像度カメラを多数の生産工程で使用し、なおかつ製品を長期間にわたり大量に生産する場合は、その画像データの総容量は膨大なものとなる。そのために、画像データの格納形式に圧縮画像フォーマットを用いることが考えられるが、保管した画像データに対して画像解析や検査、計測処理の再現を行うことを考慮すると、画像データに対して非可逆圧縮を施すことは好ましくない。

ここで、例えば、１画面あたり１２００万画素、８ｂｉｔグレーの画像データを撮像できる産業用カメラを備えた画像処理装置を１製品を製造するための２０工程を監視するために２０台、配置することを考える。そして、その製品を１日１０００個、５年間生産すると仮定すると、画像データの総容量は非圧縮の場合、１２ＭＢ×２０工程×１０００個×３６５日×５年で、約４１８ＴＢもの大規模で高価なデータストレージが必要となる。これに対し、画像処理や良品（良不良）検査の結果がＮＧ、即ち不良品と判定された場合の画像データ（ＮＧ画像）のみを保存し、画像処理の結果が正常である場合には画像データを削除することも考えられる。これにより、低容量のデータストレージを用いて重要な画像データを長期間、保存できる可能性がある。

従来では、例えば、カメラで撮影した画像データに対し全ての画像データを保存する動作設定と、画像データのうちＮＧ画像のみを保存する動作設定の、２つの動作設定を備えた画像処理装置が提案されている（例えば下記の特許文献１）。このような構成では、例えばデータストレージの消費を抑える場合にはＮＧ画像のみを保存する動作設定を選択する。このような構成によれば、不良品対策を考える上で必要な画像の一部であるＮＧ画像の重要度を高め、重要度の低い画像を削除することにより、少ないデータストレージしかない環境でも長期間の画像の保管が可能となる。

特開２００４－１４４６１５号公報

特許文献１に記載の従来技術では、画像処理を行った時点で画像の重要度を決定し、重要度の低い画像を削除する。従って、特許文献１に記載の従来技術では、記憶装置（データストレージ）に格納した画像の重要度はその後変化せずに一定である。しかしながら、実際の生産工場などにおいては、時間が経った後に画像の重要度が変化することがある。例えば、製品の形状異常を検出したとき、その異常の原因が加工機の故障による製品形状の変化だとすれば、過去に遡って画像を参照する必要が生じる場合がある。

この場合、画像処理された時点では低かったはずの画像の重要度が、その後に異常を検出したことにより過去に遡って画像の重要度が高まることになる。また、例えば画像が暗いことにより画像処理を行えなくなり計測異常が発生したとき、その原因が照明装置の故障による発光輝度の低下だとすれば、過去の画像を参照し輝度変動を調べられることが重要である。この場合も同様に、画像処理された時点では低かったはずの画像の重要度が、その後に計測異常が発生したことによって、過去に撮像した同じ被写体の画像の重要度が高まることになる。

これに対して、特許文献１に記載の従来技術では、画像の重要度が画像処理の時点で決定されて変化しないため、製品不良や計測異常の原因として重要な画像データが削除されてしまう可能性がある。

本発明の課題は、上記の問題点を鑑み、撮像手段で撮像され、記憶装置に格納された画像データの管理において、被写体の解析に重要な画像データを優先的に保管できるようにすることにある。

本発明の一態様は、第１撮像装置が撮像して得た第１画像データおよび第２撮像装置が撮像して得た第２画像データを含む複数の画像データを、前記複数の画像データのそれぞれに、当該画像データを撮像した撮像装置の個体を識別する識別情報および保管優先度を関連付け、前記複数の画像データを、前記保管優先度が高い画像データほど優先して保管されるように記憶装置に記憶し、前記第１撮像装置に関連する特定状態の検出に応じて、前記記憶装置にすでに記憶されている前記複数の画像データのうち前記識別情報を参照して特定された前記第１画像データに関連付けられている前記保管優先度を、第１保管優先度から前記第１保管優先度よりも高い第２保管優先度へ変更する、ことを特徴とする画像データ管理方法である。

上記構成によれば、撮像手段で撮像され、記憶装置に格納された画像データの管理において、被写体の解析に重要な画像データを優先的に保管することができる。

本発明の実施形態に係る撮影装置の構成を示したブロック図である。 本発明の実施形態に係る撮影装置およびデータストレージから成る構成を示したブロック図である。 本発明の実施形態に係る画像データ管理の制御手順を示したフローチャート図である。 本発明の実施形態に係る画像データ管理の異なる制御手順を示したフローチャート図である。 本発明の実施形態に係る画像データ管理のさらに異なる制御手順を示したフローチャート図である。 本発明の実施形態に係る画像データ管理のさらに異なる制御手順を示したフローチャート図である。 本発明の実施形態に係る撮影装置およびデータストレージから成る異なる構成を示したブロック図である。 図７の構成における画像データ管理の制御手順を示したフローチャート図である。 本発明の実施形態に係る撮影装置を用いて構成された生産システムの構成を示した説明図である。 本発明の実施形態に係る撮影装置の制御装置、あるいは上位のコントローラの構成を示したブロック図である。

以下、添付図面を参照して本発明を実施するための形態につき説明する。なお、以下に示す構成はあくまでも一例であり、例えば細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更することができる。また、以下の実施形態で取り上げる数値は、参考数値であって、本発明を限定するものではない。

以下では、撮像手段で撮像され、記憶装置に格納された画像データを制御装置によって管理する画像データ管理方法、製造装置、生産システム、ないし生産システムの画像管理方法に関するいくつかの実施形態を示す。この場合、記憶装置は、例えば、ネットワーク接続されたＨＤＤやＳＳＤなどを用いた大容量のデータストレージであって、例えば複数の撮影装置で撮影された被写体の画像データを格納するために用いられる。また、本発明の画像データ管理に用いられる制御装置は、例えば、複数の撮影装置のそれぞれの制御装置で構成することができる。また、この制御装置は、上位のコントローラ（例えば生産ラインに配置されるＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）のような制御装置）によって構成することもできる。

以下の実施形態において、特に画像データ管理方法においては、制御装置が次のような処理ステップを実行する。
・撮像手段で被写体を撮像する撮像ステップ。
・撮像手段で撮像された被写体の状態に応じて、画像データの保管優先度を計算する保管優先度計算ステップ。
・画像データと、当該の画像データに関して計算された保管優先度と、を関連づけて、複数の撮像手段で撮像された画像データを格納可能な記憶装置に格納させる格納ステップ。
・撮像手段で撮像された被写体が特定の状態であった場合に、記憶装置に格納された撮像手段で撮像された画像データの保管優先度を更新する更新ステップ。

上記の保管優先度は、撮像された各画像データに対して付与する情報であり、その当該の画像データを優先的にデータストレージに残すか否かを数値あるいは優先度の上下関係を識別可能な文字や記号で表現したものである。例えば、以下の実施形態では、保管優先度は、０、５０、１００の３通りとする。保管優先度０は最小、保管優先度１００は最大の優先度であり、保管優先度５０はその中間の優先度を示す。この本実施形態の保管優先度の表現形式はあくまでも一例であり、他の任意の異なる形式を採用しても良い。

例えば、以下の実施形態では、保管優先度データストレージ（記憶装置）の空き容量が所定値を下回った時、データストレージに格納した画像データを削除する順序を決定するのに用いる。例えば、保管優先度の低い画像データから順に削除するが、保管優先度が０の画像データは、保管優先度が最小で、データストレージの空き容量が所定値を下回っている場合に最初に削除される。そして、保管優先度が５０の画像データは、保管優先度が０の画像データが全て削除されてもなおデータストレージの容量が不足している（例えば上記所定値に足りない）場合に削除する。保管優先度が１００の画像データは、保管優先度が最大であり、保管優先度が０や５０の画像データが全て削除されてもなおデータストレージの容量が不足している（例えば上記所定値に足りない）場合に削除される。

＜実施形態１＞
本実施形態では、複数の撮像手段を備えるシステムにおいて、特定の撮像手段で撮像された被写体（ワークや製造装置）が特定の状態であった場合に、データストレージ（記憶装置）に格納された、その特定の撮像手段で撮像された画像データの保管優先度を更新する。被写体（ワークや製造装置）が特定の状態（例えば良／不良品である、動作が正常か異常であるかなど）であるか否かは、例えば撮像手段で撮像した画像データに対する画像処理の結果に基づき判断する。特に本実施形態では、被写体が工業製品や製造中の部品であって、被写体の検品（良品／不良品の検査）のために被写体を撮像手段で撮像し、その画像データに対して画像処理を行う。そして、その画像処理結果に応じて、被写体の状態が正常範囲外か否かを検査し、被写体が良品／不良品のいずれであるかを判定する。そして、不良品判定が行われた場合には、その特定の撮像手段で撮像された画像データの保管優先度を過去に遡って高い値に更新する。

図１は、本発明の実施形態１に係る撮影装置の構成を示す。同図に示すように、撮影装置１０１は、撮像手段１０２、画像処理手段１０４、画像出力手段１０７、保管優先度付与手段１０８、画像削除手段１０９から構成される。撮像手段１０２は、例えばイメージセンサを備えたデジタルカメラから構成される。図１において、１０４、１０７、１０８、および１０９の参照符号で示したブロックは、例えば後述の制御装置（図１０）のＣＰＵ６０１が実行するソフトウェアによって構成することができる。

図１の画像処理手段１０４は、撮像手段１０２が撮像した画像データに対して、何らかの画像処理を行い、その結果を下記のコントローラ１１０に送信することができる。この画像処理は、例えば、図９のように生産システムの製造装置の状態、あるいはそれにより取り扱われるワークの状態に関する情報を取得するために行われる。

本実施形態１において、図１の撮影装置１０１は、例えば、図９のように生産ラインを構成する複数の製造装置１００１、１００２、１００３…に撮影装置１０１１、１０１２、１０１３…としてそれぞれ１台ずつ配置することができる。撮影装置１０１１、１０１２、１０１３…は、各々の撮像手段１０２によって、製造装置１００１、１００２、１００３…の製造機構および／または製造機構が取り扱うワーク６１、６２、６３…を撮像する。図９の例では、製造装置１００１、１００２、１００３…の製造機構は、垂直多軸構成のロボット装置３１、３２、３３（ロボットアーム）…であって、ロボット制御装置４１、４２、４３…によって制御される。また、製造装置１００１、１００２、１００３…には、各々の製造機構および／または製造機構が取り扱うワーク６１、６２、６３…の状態を検出するセンサ７１、７２、７３…を配置することができる。センサ７１、７２、７３は、光学センサ、磁気センサ、ロータリエンコーダ、リニアエンコーダなどのその他の任意のセンサであって、製造機構（各ロボット装置）および／または製造機構が取り扱うワーク６１、６２、６３…の状態を検出することができる。

製造装置１００１、１００２、１００３…のロボット装置３１、３２、３３…は、それぞれのロボット制御装置４１、４２、４３…を介していわゆるＰＬＣのような装置から成る、上位のコントローラ１１０によって制御される。製造ラインの制御手段としてのコントローラ１１０は、図示の製造装置１００１、１００２、１００３…の動作を制御することにより、ワーク（６１、６２、６３…）に対する製造工程を統轄的に制御する。また、図９の構成では、コントローラ１１０の設定変更などを行うため、有線（ないし無線）接続のネットワーク２００を介して端末１８０が接続されている。

また、各撮影装置１０１１、１０１２、１０１３…の撮像手段（撮像装置）１０２で撮像した製造機構および／または製造機構が取り扱うワーク６１、６２、６３…の画像データは、ＨＤＤやＳＳＤなどを用いた大容量のデータストレージ１１１に格納（蓄積ないし保管）する。なお、図９では、ネットワーク２００は端末１８０とコントローラ１１０の間を接続するかの如く図示してある。しかしながら、破線で示すように、コントローラ１１０と、ロボット制御装置４１、４２、４３…、撮影装置１０１１、１０１２、１０１３…、センサ７１、７２、７３…の各々を接続するためにネットワーク２００を用いてもよい。以下では、コントローラ１１０と、撮影装置１０１１、１０１２、１０１３…との間の一部の信号はＬＶＴＴＬ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｔｒａｎｓｉｓｔｏｒ－Ｔｒａnｓｉｓｔｏｒ Ｌｏｇｉｃ）の“Ｈｉｇｈ”および“Ｌｏｗ”の１ｂｉｔで通信する。

ここで、図１０に撮影装置１０１（１０１１、１０１２、１０１３…）の制御装置、あるいは上位のコントローラ１１０の制御装置の構成を示しておく。図１の撮影装置１０１（１０１１、１０１２、１０１３…）の画像処理手段１０４、画像出力手段１０７、保管優先度付与手段１０８、画像削除手段１０９は、図１０のような制御装置によって実現できる。例えば、これらの手段は、ＣＰＵ６０１が、ＲＯＭ６０２（あるいは他のコンピュータ読み取り可能な記録媒体）に格納された、後述の制御手順を記述した制御プログラムを実行することにより実現される。

図１０の制御装置が、撮影装置１０１（１０１１、１０１２、１０１３…）の制御系を構成するとした場合、撮像手段１０２（図１）を構成するカメラ６１１（例えばデジタルカメラ）がインターフェース６０４を介してＣＰＵ６０１のシステムバスに接続される。また、同図の制御装置が例えば、コントローラ１１０（あるいは端末１８０）の制御系であるとした場合は、破線内に示したカメラ６１１とインターフェース６０４とを除いた構成が、コントローラ１１０（あるいは端末１８０）の制御系に相当する。また、データストレージ１１１は、いわゆるＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）構成のネットワーク接続されたストレージであるような場合には、図１０と同様の制御系がデータストレージ１１１に設けられる。その場合、例えば、図１０の破線内に示したカメラ６１１とインターフェース６０４とを除いた構成に、外部記憶装置としてＨＤＤやＳＳＤ（不図示）を加えた構成がデータストレージ１１１の制御系となる。

図１０の制御装置は、主制御手段としてのＣＰＵ６０１、記憶装置としてのＲＯＭ６０２、およびＲＡＭ６０３を備える。ＲＯＭ６０２には、後述する制御手順を実現するためのＣＰＵ６０１の制御プログラムや定数情報などを格納しておくことができる。また、ＲＡＭ６０３は、後述する制御手順を実行する時にＣＰＵ６０１のワークエリアなどとして使用される。

なお、後述の制御手順を実現するためのＣＰＵ６０１の制御プログラムは、不図示のＨＤＤやＳＳＤなどの外部記憶装置、ＲＯＭ６０２の（例えばＥＥＰＲＯＭ領域）のような記憶部に格納しておくこともできる。その場合、後述の制御手順を実現するためのＣＰＵ６０１の制御プログラムは、ネットワークインターフェース６０６を介して、上記の各記憶部に供給し、また新しい（別の）プログラムに更新することができる。あるいは、後述の制御手順を実現するためのＣＰＵ６０１の制御プログラムは、各種の磁気ディスクや光ディスク、フラッシュメモリなどの記憶手段と、そのためのドライブ装置を経由して、上記の各記憶部に供給し、またその内容を更新することができる。上述の制御手順を実現するためのＣＰＵ６０１の制御プログラムを格納した状態における各種の記憶手段、記憶部は、本発明の制御手順を格納したコンピュータ読み取り可能な記録媒体を構成することになる。

図１０では、必ずしも必須の構成ではないが、インターフェース６０５を介して入力装置６０７（ユーザーインターフェース装置）がＣＰＵ６０１に接続されている。ユーザーがデータを入力可能な入力装置６０７は、ハンディターミナルのような端末、あるいはキーボード、ディスプレイ、ポインティングデバイスなどのデバイス（あるいはそれらを備えた制御端末）によって構成することができる。ユーザーは、入力装置６０７にて、保管優先度を付与する条件を設定することができる。

また、ＣＰＵ６０１には、通信手段としてネットワークインターフェース６０６が接続されている。このネットワークインターフェース６０６を介して、ＣＰＵ６０１は生産制御に必要な各種の制御信号を送受信することができる。その場合、ネットワークインターフェース６０６は、例えばＩＥＥＥ ８０２．３のような有線通信、ＩＥＥＥ ８０２．１１、８０２．１５のような無線通信による通信規格で構成することが考えられる。ネットワークインターフェース６０６は、本実施形態の生産ラインに配置された生産管理を行うＰＬＣのような統轄制御装置や、管理サーバなどとの間の通信に用いることができる。あるいは、ネットワークインターフェース６０６は、生産ラインに、ロボットアームやＸＹステージなどによって構成された他の生産（製造）装置が配置される場合、それらの生産（製造）装置との間の通信に用いることができる。

図２は、例えば図９のような構成において、５台の撮影装置１０１（図９では１０１１、１０１２、１０１３…）と、コントローラ１１０と、データストレージ１１１と、を配置する場合の接続構成を示している。

図２に示すように、コントローラ１１０は、配置された５台の撮影装置１０１、１０１…に対して、撮像タイミングを指示するためのトリガ信号１１０１を出力し、撮影装置１０１、１０１…の各々に被写体を撮像させることができる。撮影装置１０１の撮像手段１０２（図１）が撮像した画像データは、撮影情報、および本実施形態の保管優先度とともにデータストレージ１１１に送信され、格納される。撮影情報には、当該の画像データを撮像した撮像手段１０２（カメラ）の個体を識別する識別情報、撮影日時情報などが含まれる。画像データの格納フォーマットは任意であるが、画像データを生産システムの管理などに用いる場合は、好ましくは非圧縮の画像データフォーマットであることが望ましい。撮影情報および保管優先度は画像データのヘッダ部分に格納されていてもよく、あるいは当該の画像データとの関連付けが可能な形式であれば、画像データとは別のファイルに格納されていてもよい。

また、撮影装置１０１、１０１…では、撮像手段１０２が撮像した画像データに対して、画像処理手段１０４が何らかの画像処理を行い、例えば被写体の検査を行い、その検査結果１１０２をコントローラ１１０に送信する。図９のような生産システムであれば、コントローラ１１０は、撮影装置１０１、１０１…から受信した検査結果１１０２、１１０２…を介して、生産ラインの各部の状態を監視することができる。その場合、検査結果１１０２、１１０２…は、図９のような生産システムであれば、製造装置の状態、あるいはそれにより取り扱われるワークの状態に関する検査の結果に相当する。そのため、例えば、検査結果１１０２、１１０２…を介して、被写体、即ち、製造装置やワークに関する正常な状態から逸脱した状態が検出された場合、コントローラ１１０はこれを検出できる。その場合、コントローラ１１０は、検査結果１１０２、１１０２…を用いて、警報を発生したり、当該の製造装置ないしライン全体を非常停止させたりする生産制御を行うことができる。

図２において、撮影装置１０１、１０１…は、コントローラ１１０に対してトリガ入力用ケーブルと結果出力用ケーブルで接続されているものとする。本実施形態では、トリガ信号１１０１、１１０１…と検査結果１１０２、１１０２…については、それぞれＬＶＴＴＬの“Ｈｉｇｈ”および“Ｌｏｗ”の１ｂｉｔで通信するものとして説明する。しかしながら、トリガ入力と結果出力がそれぞれ複数ｂｉｔで通信できるように接続されていても構わない。また、通信プロトコルを用いてトリガ入力と結果出力の送受信を行ってもよい。

また、撮影装置１０１、１０１…は、データストレージ１１１に対して画像データ、保管優先度の変更要求、画像データの削除要求を出力するため、ネットワークケーブルで接続されているものとする。この画像データ、保管優先度の変更要求、画像データの削除要求などの出力はＬＡＮ（Ｌｏｃaｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して通信するものとする。ただし、このデータストレージ１１１に対する画像データ、保管優先度の変更要求、画像データの削除要求などの出力は、その他のパラレル通信やシリアル通信により行ってもよい。

以上の構成において、検査ないし測定対象の被写体を撮影して検査結果および画像データを出力するときの流れを説明する。まず、図３のフローチャートを参照し、被写体を撮影して検査結果および画像データを出力するときの制御手順を説明する。なお、図３の制御手順は、主に撮影装置１０１（１０１１、１０１２、１０１３…）で実行されるものであるが、その制御主体は例えばＣＰＵ６０１（図１０）である（後述の他のフローチャートでも同様）。また、図３で破線で示したステップＳ１０６は、ストレージの空き容量に応じて保管優先度を参照して画像データのファイル削除を行うものである（後述の他のフローチャートでも同様）。このステップＳ１０６の部分は、例えば撮影装置１０１の画像削除手段１０９で行う他、コントローラ１１０またはデータストレージ１１１の制御系によって実行される構成であってもよい（後述の他のフローチャートでも同様）。

コントローラ１１０は、予めプログラムされた制御シーケンス、例えば、図９の構成であれば、各製造装置による生産工程を管理する制御シーケンスに従い、特定の撮影装置１０１（１０１１、１０１２、１０１３…）に対してトリガ信号を出力する。例えば、コントローラ１１０は、特定の製造装置の特定の動作タイミングに同期してトリガ信号１１０１（図２）を送信する。トリガ信号１１０１を入力した撮影装置１０１では、ステップＳ１０１（撮像ステップ）において、撮像手段１０２による撮像、と画像データ生成を実行する。この時、撮像手段１０２は、検査（測定）対象の被写体を撮像して、画像データを生成し、画像データを画像処理手段１０４に対して出力する。

ステップＳ１０２（画像処理ステップ）では、画像処理手段１０４は、画像データに対して画像処理を施して画像特徴量を算出し、画像特徴量に基づいて得られた検査結果１１０２（図２）をコントローラ１１０に対して出力する。画像データと検査結果１１０２を画像出力手段１０７に対して出力する。

コントローラ１１０は、検査結果１１０２に基づいて予め指定した動作シーケンスに基づいて動作を続ける。コントローラ１１０の動作と並行し、画像出力手段１０７（図１）は、画像データをデータストレージ１１１に対して出力するとともに、検査結果１１０２を保管優先度付与手段１０８に対して出力する。この画像出力手段１０７での画像および検査結果１１０２の出力は、ステップＳ１０３（画像出力ステップ）で実行される。データストレージ１１１は送信された画像データを保存する。

続いて、図３のステップＳ１０４ａ（保管優先度計算ステップ）において、保管優先度付与手段１０８は、検査結果１１０２に基づいて、保管優先度を計算する。ステップＳ１０４ａでは、画像出力手段１０７がデータストレージ１１１に対して出力（Ｓ１０３）した画像データ、および既にデータストレージ１１１に保存されている、同じ当該の撮像手段１０２で撮像された過去の画像データの保管優先度を計算する。なお、上記保管優先度計算ステップは、別の言い方をすれば、画像データの保管優先度を求める保管優先度取得ステップということもできる。

ステップＳ１０５（保管優先度付与ステップ）では、計算した、保管優先度の変更要求をデータストレージ１１１に対して出力する。ここでは、少なくとも、画像出力手段１０７がデータストレージ１１１に対して出力（Ｓ１０３）した画像データの保管優先度の付与をデータストレージ１１１に対して要求する。また、後述のような理由でデータストレージ１１１に保存されている同じ当該の撮像手段１０２で撮像された過去の画像データの保管優先度を変更する必要が生じた場合には、その旨の変更要求をデータストレージ１１１に対して出力する。これに応じて、データストレージ１１１は、画像データの保管優先度の変更要求に基づいて上記の画像データの保管優先度を変更する。

即ち、上記保管優先度付与ステップ（Ｓ１０５）は、撮像手段によって撮像された画像データと、当該の画像データに関して求められた保管優先度と、を関連づけて、記憶装置に記憶させる付与ステップと、撮像手段で撮像された被写体が特定の状態であった場合に、少なくとも被写体が特定の状態となったことが判定された画像データよりも前に記憶装置に格納されている画像データを含んだ画像データに関し、特定の状態が検出されたことに基づいて、関連付けられている保管優先度を更新する更新ステップを含んで構成されている。

なお、以上では説明を容易にするため、ステップＳ１０３、Ｓ１０４ａ、Ｓ１０５の順序で示している。しかしながら、ステップＳ１０４ａの保管優先度の計算を、ステップＳ１０１で撮像した画像データに対して行ってからデータストレージ１１１に対して画像データを出力（Ｓ１０３）するようにしてもよい。あるいは、これら各ステップの順序は図３のままとし、ステップＳ１０３では、例えば、デフォルトの保管優先度として０（最低の保管優先度）を付与して画像データを出力するようにしてもよい。これらの場合、ステップＳ１０３が上記付与ステップとなる。

また、図３のステップＳ１０６（画像削除ステップ）において、データストレージ１１１の空き容量（残容量）が僅少か否かを判定する。ここでは、例えば、撮影装置１０１の画像削除手段１０９（図１）は、データストレージ１１１にアクセスし、その空き容量（残容量）が僅少、即ち予め決定した閾値以下（あるいは未満）か否かを確認する（Ｓ１０６１）。そして、空き容量が僅少である場合、保管優先度の低い画像データから順に、空き容量僅少に係る閾値を満足するまで、データストレージ１１１に削除させる（Ｓ１０６２）。また、空き容量が閾値より多い場合には、この削除要求は行わない。この時、保管優先度が等しい画像データが複数存在する場合には、同じ保管優先度の画像データの中で、その撮影情報などに記録された撮影時刻（日時）が古い順に削除する。

本実施形態では、特定の撮影装置１０１（１０１１、１０１２、１０１３…）の撮像手段１０２が撮像して得た画像データに対する検査結果が製品不良や計測異常を示している場合には、その特定の撮像手段１０２で撮像された画像データの保管優先度を高い値に更新する。データストレージ１１１では、特定の撮影装置１０１で撮影された画像データは、例えばその画像データの撮影情報（撮像手段１０２を識別可能な情報を含む）によって識別することができる。この撮影情報は、撮影日時（撮影タイミング）の情報も含むものとする。このような撮影データを生成し、画像データに付与（あるいは関連づけ）する処理は、例えば、保管優先度付与手段１０８によって行うことができる。

また、検査結果が製品不良や計測異常を示している場合、特定の撮影装置１０１で撮像された画像データの保管優先度を高い値に更新する。その場合、予め指定した期間内の過去の撮影装置１０１で撮像した画像データの保管優先度を全て、あるいは一定間隔毎に高くする。

また、保管優先度付与手段１０８は、予め指定した期間内の過去の画像データを調べ、中に製品不良や計測異常を示すものがある場合、特定の撮像手段１０２で撮像した画像データの保管優先度を高い値に更新する処理を行ってもよい。その場合、今回、撮影装置１０１が撮像した画像データに対する検査結果が製品不良や計測異常を示していなくても、画像データの保管優先度を高い値に更新する処理を行ってもよい。

以上の処理により、データストレージ１１１の空き容量が僅少となり、画像データの削除が必要になった場合でも、製品不良や計測異常、およびそれらの兆候を示す画像データの保管優先度が高い値に更新される。これにより、製品不良や計測異常、およびそれらの兆候を示す画像データが優先的に保管されるので、後の動作解析などにおいて重要度の高い画像データを失うことなく、長期間、保存できる。

ここで、図１および図２（あるいはさらに図９）に示した各要素の詳細を説明する。ここでは、まず、撮影装置１０１（１０１１、１０１２、１０１３…）に接続する周辺機器としてのコントローラ１１０とデータストレージ１１１について説明する。

コントローラ１１０は、例えば図９のような生産システムにおいては、周知のＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）であるものとする。その場合、コントローラ１１０は、専用の記述言語によって指定された動作シーケンスに従い、接続された１つまたは複数の（製造）機器に対してＬＶＴＴＬや特定のプロトコルによる通信を行える。

ここでは、撮影装置１０１（１０１１、１０１２、１０１３…）がコントローラ１１０に５台接続されているものとする。これらの撮影装置１０１（１０１１、１０１２、１０１３…）の画像処理手段１０４は、例えば、被写体の有無検査を行う。その場合、例えば、画像処理手段１０４は、撮影した画像領域内に検査対象の被写体が存在する（“ＯＫ”）か、存在しない（“ＮＧ”）かを判定する。

また、コントローラ１１０は、５台の撮影装置１０１に対して、生産ラインの制御シーケンスなどに応じて、任意のタイミングで、検査の開始指示を意味する１ｂｉｔのトリガ信号を個別に出力することができる。また、コントローラ１１０は、５台の撮影装置１０１から画像検査が“ＯＫ”（“Ｈｉｇｈ”）か“ＮＧ”（“Ｌｏｗ”）を意味する１ｂｉｔの結果信号を個別に受信することができる。なお、ここでは、画像処理手段１０４で算出した画像特徴量に応じて行う画像検査内容を測定対象の被写体の有無検査として説明する。しかしながら、測定対象の被写体の有無検査以外の、位置検査、位相検査、ゴミ・汚れ・欠損などの外観検査、液体の塗布検査、２次元／３次元形状検査などを検査内容としてもよい。また、複数台の撮影装置１０１はそれぞれ別の検査を実行しても構わない。

データストレージ１１１は、例えばデータの読み書きを行う機器（撮影装置１０１（１０１１、１０１２、１０１３…）やコントローラ１１０）とネットワーク接続可能なＮＡＳ構成を取る。データストレージ１１１に対して、ＬＡＮで接続された機器（撮影装置１０１（１０１１、１０１２、１０１３…）やコントローラ１１０）は、データの追加、変更、削除などの処理を実行することができる。本実施形態においては、データストレージ１１１は例えば３２ＴＢの容量を有し、５台の撮影装置１０１と通信できるＬＡＮインターフェースを備えるものとする。

次に、撮影装置１０１（図１）の要素について説明する。本実施形態において、撮像手段１０２は、例えば約５メガピクセル（２４４８×２０５８画素）の空間解像度を有し、各画素は８ｂｉｔのｂｉｔ深度を持ち、画像データを出力する、グレースケール画像を撮影するデジタルカメラである。なお、本実施形態では、撮像手段１０２は、１画面の撮像データあたり、約５メガピクセルの空間解像度、８ｂｉｔのｂｉｔ深度を有する構成として説明するが、空間解像度やｂｉｔ深度がこのような特定の数値に限定されないのはいうまでもない。

また、本実施形態では、撮像手段スマートカメラ等撮像手段、撮像手段と処理機能とが一体化されたデバイスを撮影装置として用いる場合について説明している。しかし、撮像手段１０２がデジタルカメラであり、別体の画像処理手段と組み合わせたものを撮影装置１０１として用いてもよい。撮像手段１０２は、ＳＰＩ（Ｓｅｒｉａｌ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）等の通信を介して撮像手段１０２に内蔵するレジスタへ撮像を制御する種々の設定値を書込んだ上で、その画像センサから約５メガピクセルの画像信号を読み出す。

撮像手段１０２はトリガ入力を備え、トリガ信号（１１０１）が入力されると、即時撮影を実行できるトリガ待ち状態とすることができるものとする。撮像手段１０２は、撮像ステップＳ１０１（図３）を実行する。撮像ステップＳ１０１は、まず撮像手段１０２をトリガ待ち状態として機能させる設定値を撮像手段１０２に内蔵するレジスタへ書込み、撮像手段１０２をトリガ待ち状態に設定し、トリガ信号（１１０１）が入力されたら撮像し、画像データを取得する。撮像手段１０２が撮像して得た画像データは、後述する画像処理手段１０４へ出力される。

撮影装置１０１の画像処理手段１０４、画像出力手段１０７、保管優先度付与手段１０８、画像削除手段１０９は、本実施形態ではＣＰＵ、メモリ、記憶装置、外部インターフェースを備えた図１０のような制御装置によって実現される。

なお、本実施形態では画像処理手段１０４、画像出力手段１０７、保管優先度付与手段１０８、画像削除手段１０９をコンピュータ（ＣＰＵ）の演算処理で実現する前提として説明する。しかしながら、これらの手段は、周知の汎用ロジック回路等、処理機能を持った周知のデバイスで実現してもよい。そのようなデバイスとしては、マイクロコンピュータ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などが考えられる。

画像処理手段１０４は、画像処理ステップＳ１０２を実行する。画像処理ステップＳ１０２は、画像データに対して画像処理を施して画像特徴量を計算し、画像特徴量に基づいて検査結果を取得する。

本実施形態においては、画像処理手段１０４が行う画像処理内容を被写体の有無検査とし、検査に用いる画像特徴量として、画像データの二値面積を計算する。この二値面積の計算では、まず、画像データの二値化を行う。

本実施形態における画像データは、約５メガピクセル（２４４８×２０５８画素）の空間解像度を持ち、各画素は８ｂｉｔのｂｉｔ深度、即ち各画素はグレースケールで０から２５５の輝度値を持つ。画像データの二値化は、画像データの各画素について、０から２５５の値をとる輝度値が、設定した閾値以上であれば輝度値を“１”に、閾値よりも低ければ輝度値を“０”とした、二値画像を生成する。

画像を二値化するときは、例えば画像の輝度ヒストグラムを参照し、白色側の山と黒色側の山の中点をもって閾値とする。本実施形態においては、二値化の閾値は１２８であるとする。次に、二値面積を計算する。二値面積は、二値化により生成した二値画像の全ての画素値を足し合わせることで計算する。このように計算した二値面積に基づいて判定した検査結果は、コントローラ１１０および画像出力手段１０７へ出力される。なお、本実施形態では画像処理として二値面積の計算を行うものとして説明するが、周知の各種フィルタ処理を施してもよいし、周知の各種画像処理で二値面積以外の画像特徴量を計算してもよい。また、二値化面積の計算方法についても、二値化の閾値は予め設定した値ではなく、周知の動的閾値法などにより自動的に決定されてもよい。また、計算する画像特徴量は１つに限られるものではなく、複数の異なる画像特徴量を計算してもよい。

画像処理手段１０４は、さらに画像処理ステップＳ１０２（図３）において、計算した画像特徴量に基づいて検査結果を生成する。本実施形態においては、例えば計算した二値面積を予め設定した閾値と比較し、設定した閾値以上であれば画像処理に基づく被写体の検査結果を“ＯＫ”（良）に、閾値より低ければ検査結果を“ＮＧ”（不良）となるよう、検査結果を生成する。この検査は、例えば、撮像した画像データの画像領域内に、特徴的な二値面積を有する被写体（ワーク６１やロボット装置３１、３２…の一部）が存在するか否かを判定する処理に相当する。

二値化面積の閾値の決定方法の例としては、予め検査結果が“ＮＧ”となる二値画像と検査結果が“ＯＫ”となる二値画像を複数用意し、“ＯＫ”“ＮＧ”それぞれの二値面積の平均値を求め、２つの平均値を足して２で割った値を閾値とする。

なお、例えば周知の製品検査に見られるように、“ＯＫ”（良品）を“ＮＧ”（不良品）と誤判定するよりも“ＮＧ”を“ＯＫ”と誤判定するほうが不良品流出の観点でリスクが大きい。そのため、“ＮＧ”を“ＯＫ”と誤判定する方向に閾値をシフトするなど、どちらかの判定結果に振られやすくする意図があれば、２つの平均値を足して２で割った値に、リスクに応じた値を乗じてもよい。本実施形態においては、検査結果を判定するための二値面積の閾値を２，０００，０００とする。このように判定した検査結果は、画像出力手段１０７へ出力される。なお、二値面積の閾値は被写体（ワークやロボット装置の一部）の特性量に基づく何らかの演算によって自動的に決定されてもよいし、検査結果の判定方法として、周知の各種判定方法を用いてもよい。

画像出力手段１０７は、画像出力ステップＳ１０３を実行する。画像出力ステップＳ１０３は、撮像手段１０２が生成した画像データをデータストレージ１１１に出力する。なお、画像出力手段１０７は、画像ファイルと同名のテキストファイルに保管優先度を保存する、あるいは、画像データのヘッドに保管優先度を書き込む、などの手段を用いて、画像データと保管優先度とを関連付けした上でデータストレージ１１１に送信し、格納させる。本実施形態の趣旨から、当然ながら、保管優先度の部分のデータは、画像データの実体部分に影響を与えることなく、自由に書き換えられるものとする。

本実施形態においては、画像出力手段１０７（画像出力ステップＳ１０３）は、コンピュータに搭載されたＬＡＮインターフェースとし、ＬＡＮを介してコンピュータからデータストレージ１１１に画像ファイルを送信するものとする。また、以下では、保管優先度は画像ファイルのヘッダ情報として記録できるものとし、ストレージ１１１に送信する際に書き込む保管優先度を初期値（例えば最低の保管優先度である０）とする。なお、画像出力手段１０７はＬＡＮインターフェースに限らず、ＵＳＢ等の周知のシリアル通信のインターフェースであってもよい。また、前述のように、保管優先度は画像ファイルのヘッダ情報でなく、画像ファイルと紐付けられたテキストファイルとして備えられてもよい。

保管優先度付与手段１０８は、図３の保管優先度計算ステップＳ１０４ａおよび保管優先度付与ステップＳ１０５を実行する。保管優先度計算ステップＳ１０４ａは、データストレージ１１１に保管されたデータに対して、検査結果を参照し、検査結果の“ＮＧ”に対応する画像データの保管優先度を高い値に更新する。その場合、例えば、予め設定した過去の特定の期間の画像データの保管優先度を連続的に、全て、高い値に更新する。また、その場合、保管優先度は例えば０から５０、５０から１００のように、値を＋５０加算する（加算する値は５０以外でもよい）処理を行う。また、予め設定した期間だけ遡った過去の画像の保管優先度を連続的に、全て高い値に更新するのではなく、予め設定したサンプリング間隔毎に高い値に更新する処理を行ってもよい。

保管優先度付与ステップＳ１０５（図３）は、保管優先度計算ステップＳ１０４ａ（同）が決定した保管優先度に基づいて、データストレージ１１１に保管された画像データの保管優先度を変更する。本実施形態では、過去の特定の期間の画像データに限り、その保管優先度を高い値に更新するが、例えばこの特定の期間を２週間と設定し、過去の画像データの保管優先度を連続的に、全て高い値に更新する。これにより、例えば、最新の２週間分の特定の撮像手段１０２で撮像した画像データの保管優先度を重点的に連続的に、全て高い値に更新する。

保管優先度の範囲は、例えば０から１００とし、０が最小の保管優先度、１００が最大の保管優先度とする。例えば、検査結果出力手段１０５の検査結果が“ＯＫ”であれば画像出力手段１０７がデータストレージ１１１に画像データを出力した後、保管優先度付与手段１０８はデータストレージ１１１に保管された画像データに対して保管優先度の更新は行わない。あるいは、検査結果出力手段１０５の検査結果が“ＯＫ”の時は、最低の保管優先度０を用いるようにする。

一方、検査結果出力手段１０５の検査結果が“ＮＧ”であった場合は、画像出力手段１０７がデータストレージ１１１に画像データを出力した後、例えば保管優先度付与手段１０８は、出力した画像データに対して１００の保管優先度を付加する。そして、さらに、過去２週間の画像データの全てに対して５０の保管優先度を付与する（あるいは＋５０の値を加算する）。なお、本実施形態では特定の期間内の、同じ撮像手段１０２で撮像した全ての画像データに対して保管優先度を付与または更新するが、例えば画像データ１０個ごとに保管優先度を付与または更新するなど、特定の間隔で保管優先度を付与または更新してもよい。このように特定の間隔で保管優先度を付与する場合、その間隔は一定値でもよいし状況によって変動する動的な間隔でもよい。

なお、本実施形態では、前述のように０、５０、１００の三値の保管優先度を用いるものとするが、“ＮＧ”が発生したタイミングや外部機器の情報に基づいて保管優先度が中間的な値を取るよう制御してもよい。また、保管優先度を最小値と最大値の二値（例えば、０と１、０と１００など）で付与する構成であってもよい。また、“ＮＧ”が発生した画像データに“ＮＧ”が発生した旨のデータを関連づけてデータストレージ１１１に記憶させておく構成を採用してもよい。そして、一定期間遡った画像データに“ＮＧ”が発生しているときに現在の画像データに保管優先度を付与することにより、“ＮＧ”が発生した後の一定期間の画像データの保管優先度を高い値に更新する。なお、“ＮＧ”が発生した後の画像データが不要であれば、“ＮＧ”が発生する前の画像データのみに保管優先度を付与してもよい。

また、画像データに保管優先度を付与するとともに、保管優先度を付与した日付・時刻や保管優先度を付与したときの適用条件をログ情報としてデータストレージ１１１に保存してもよい。例えば、過去に保管優先度が変更された履歴情報（日付・時刻・保管優先度・保管優先度が変更された適用条件など）をログ情報としてデータストレージ１１１に保存する。

画像削除手段１０９は、画像削除ステップＳ１０６（図３）を実行する。画像削除ステップＳ１０６では、データストレージ１１１の空き容量が僅少である（予め決定した閾値以下、あるいは未満）か否かを確認する。そして、空き容量が僅少である場合は、保管優先度の低い画像データから順に、空き容量が上記の僅少を示す閾値の条件を満足するまで削除する。このとき、保管優先度が等しい画像データが複数存在する場合には、データストレージ１１１に格納されている撮影情報を参照し、同じ保管優先度の画像データの中で、撮像日時が古いものから順に削除する。

なお、空き容量が僅少ではない場合は、当然ながら上記の削除処理は行われない。本実施形態においては、例えばデータストレージ１１１の空き容量の僅少を示す閾値として、例えばデータストレージ全容量の１０％（上記の例では３．２ＴＢ）を設定する。

画像削除ステップＳ１０６（図３）では、データストレージ１１１の空き容量が１０％を下回ったとき、保管優先度が低い画像、即ち本実施形態においては保管優先度が０の画像データの中で、最も古いものを削除する。そして、さらにデータストレージ１１１の空き容量を確認しながら、空き容量が１０％以上となるまで古い順に画像データを削除する。保管優先度が０の画像データが全て無くなってもなお空き容量が１０％を下回る場合は、その次に高い保管優先度の画像データ、即ち本実施形態においては保管優先度が１００の画像データの中で、古い順に画像データを削除する。

なお、本実施形態においては、空き容量が不足したときに画像データを削除する例を示したが、削除する画像データが膨大で処理に時間がかかるような場合は、処理系の負荷が高いタイミングは削除処理を保留し、処理負荷の低い時間帯にまとめて削除してもよい。また、予め撮影装置１０１（１０１１、１０１２、１０１３…）を稼働させない時間帯を決めておき、その時間に画像データを削除してもよい。

このような画像データの削除形態においては、画像削除ステップＳ１０６（図３）は、撮影装置１０１の画像削除手段１０９ではなく、コントローラ１１０や、データストレージ１１１の制御装置によって実行してもよい。その場合、例えば、上位の生産管理端末やＰＬＣからの入力信号により撮影装置が稼働しないタイミングを取得し、画像データを削除することが考えられる。また、光センサやマイクや監視カメラ（例えば図９のセンサ７１、７２…）の出力情報から、生産ラインが休止状態であることを検出し、その時間に画像データを削除してもよい。

また、画像データを削除したときに、画像データのファイル名や削除時の日付・時刻や過去に保管優先度が変更された履歴情報（日付・時刻・保管優先度・保管優先度が変更されたときの適用条件など）をログ情報として保存してもよい。このログ情報は例えばデータストレージ１１１に保存することができる。このようなログ情報を参照することにより、画像データが削除された原因を特定できるので、重要な画像ファイルが削除された場合には保管優先度の付与条件を見直すことができる。

以上の処理を、図２に示す５台の撮影装置１０１（１０１１、１０１２、１０１３…）においてそれぞれ同様に実施する。これにより、本実施形態によれば、“ＮＧ”が発生した画像データだけでなく、“ＮＧ”画像が発生する前および後の一定期間の画像データをデータストレージ１１１に残すことができる。従って、データストレージ１１１の容量に限りがある場合でも、製品不良や計測異常の原因を分析するために必要な画像データをなるべく削除せず、優先的に、長期間、保管できる。

以下、実施形態２～５として、画像処理手段１０４が行う異なる画像処理、それに基づく被写体の状態の異なる検査、および、保管優先度の更新処理について説明する。以下では、ハードウェア的な構成は、図１、図２、図９、図１０などに示したものと同様であるものとし、特に必要のある場合を除き、重複した説明は省略するものとする。また、ソフトウェア的にも、上記実施形態の図３に示した制御手順の全体の流れは、以下の実施形態２～５制御手順（それぞれ図４～図８に相当）でも同等である。また、実施形態２～５でも、制御手順を実行する制御主体は、上記同様に、撮影装置１０１（あるいはコントローラ１１０やデータストレージ１１１）の制御系を構成する、例えば制御装置（図１０）のＣＰＵ（６０１）などである。また、制御手順は、例えば制御装置（図１０）のＲＯＭ（６０２）ないし、他のコンピュータ読み取り可能な記録媒体に格納されるものとする。以下の実施形態２～５では、それぞれ図４～図８に示す制御手順については、特にその実施形態で特徴的な保管優先度計算ステップＳ１０４ｂ～Ｓ１０４ｅに重点を置いて説明する。

＜実施形態２＞
前述した実施形態１では、撮影装置としての検査結果が実際に製品不良や計測異常（“ＮＧ”）を示す場合に、その直前および直後の画像データを優先的に保管するよう保管優先度を決定し、あるいは更新した。

しかしながら実際の生産工場の現場などにおいては、製品不良や計測異常に至っていない時でも、装置の故障や製品の急激な変化により、潜在的に製品不良や計測異常に至りやすくなる場合がある。この場合、装置の故障や製品の変化を製品不良や計測異常に至る前に原因を調べて修正すれば、トラブルなき生産を継続的に行うことができる。それに対して実施形態１では、製品不良や計測異常を示した前後（例えば２週間のタイムスパン）の画像データしか優先的に残らない可能性がある。従って、過去に起きた潜在的なトラブルの解析や検証には充分ではない場合も考えられる。

そこで、本実施形態２では、製品不良や計測異常に至らなくても、検査結果の判定に用いる画像特徴量が閾値範囲内に含まれているか否かによって、製品不良や計測異常に至るリスクが高まったことを検知し、それをトリガにしてその前後の画像データを優先的に保管できるような制御手順を示す。

ここで、まず、検査結果を判定するための画像特徴量が判定値に近づく具体的な事例を示す。ここでは部品の有無検査として、画像処理手段１０４により、白色の部品（ワーク）の載った黒色トレイを撮像した画像データ二値化する。そして、二値画像の（部品に相当する白色部分の）面積が２，０００，０００を超えれば“ＯＫ”、二値画像の面積が２，０００，０００以下であれば“ＮＧ”と判定する、被写体の検査工程を採用しているものとする。つまり、検査の判定に用いる判定値として、二値画像の面積＝２，０００，０００を設定したとする。

そして、生産システムおよび検査環境を構築した当初は、この画像処理による被写体検査によって、“ＯＫ”判定の二値画像面積は３，０００，０００（標準偏差σ＝１００，０００）の数値を取っていたものとする。また、同様に、“ＮＧ”判定の二値画像面積は１，０００，０００（標準偏差σ＝３０，０００）の数値をとり、これら“ＯＫ”および“ＮＧ”判定は安定していたとする。

その後、あるタイミングで、例えばトレイの色が黒色から明るい色や半透明色に変更され、トレイ部分の撮影輝度が上がり、“ＮＧ”判定の二値画像面積が１，９００，０００程度となったとする。この場合、“ＮＧ”判定の二値画像面積は判定値２，０００，０００に迫っており、部品が無く本来は“ＮＧ”と判定するべきところを“ＯＫ”と誤判定してしまう可能性が高くなる。同様の誤判定は、あるタイミングで周囲に新しい装置が設置され、その装置から発せられる照明により撮影輝度が変わってしまう場合等にも発生しうる。また、上記の部品の有無検査において、あるタイミングで組立場所の天井の蛍光灯が切れ、部品部分の撮影輝度が下がり、“ＯＫ”判定の二値画像面積が２，１００，０００程度となったとする。この場合、部品が有り本来は“ＯＫ”と判定するべきところを“ＮＧ”と誤判定としてしまう可能性が高くなる。同様の誤判定は、上記の部品の有無検査において、部品のロット違いや金型のキャビティ違いや金型の短期的・長期的な変化により、部品表面の状態が変化することにより部品部分の撮影輝度が変化してしまう場合等にも発生しうる。

このような画像データの画像特徴量（ここでは二値画像面積）の変化をトリガとしてその前後の画像データを保管しておくことができれば、後にこの画像データを参照して行う検証、解析においては、トレイの状態や部品の状態や外部環境に変化が生じたことを発見できる。そして、トレイや部品や外部環境を適正化したり、判定値を変更したり、あるいは画像処理アルゴリズムを変更する、といった対応を行うことが可能となる。

なお、以上では検査の判定に用いる画像特徴量として、二値画像の面積を用いて被写体の有無検査を行う例を示した。しかしながら、例えば周知のパターンマッチングを行いマッチングスコアの大小によって可否判定する検査において、マッチングスコアが閾値に近づくことをトリガにすることも考えられるし、その他の周知の画像特徴量をトリガに用いることも考えられる。また、画像ファイルのフォーマット（拡張子・空間解像度・ｂｉｔ深度・カラー／グレーなど）、撮影設定（露光時間・ゲイン・切出し設定・エフェクト・フィルタ・照明光量など）を画像データの特徴量として取り扱うことも考えられる。あるいは、撮影した画像ファイルの容量、画像ファイルの作成日時、画像ファイル間の撮影時刻の差、累積撮影枚数、画像ファイル間の一致度などを画像データの特徴量として取り扱い、保管優先度を更新するトリガにしてもよい。

図４は、本実施形態２の制御手順を示している。図４で図３と異なるのは、保管優先度計算ステップＳ１０４ｂ、及びステップＳ１０２画像処理ステップＳ１０２の処理内容である。

図４の制御手順において、撮影装置１０１に対するコントローラ１１０のトリガ信号（１１０１）の送信、および撮像ステップ（Ｓ１０１）は、実施形態１と同様に行われる。撮像手段１０２は、被写体を撮像して画像データを生成し画像データを画像処理手段１０４に対して出力する。撮像手段１０２での撮像と画像データ生成は、画像処理手段１０４による画像処理は、実施形態１と同様にステップＳ１０２（画像処理ステップ）で実行する。画像処理手段１０４は、画像データに対して検査結果を出力するのに必要な画像処理を施して画像特徴量を計算し、画像特徴量に基づく検査結果（１１０２）をコントローラ１１０に対して出力する。また、画像処理手段１０４は、画像特徴量に基づいて検査結果（１１０２）を生成してコントローラ１１０に対して出力するとともに、画像特徴量と画像データと検査結果を画像出力手段１０７に対して出力することができる。

コントローラ１１０は、検査結果に基づいて予め指定した動作シーケンスに基づいて動作を続ける。一方、画像出力手段１０７は、画像データをデータストレージ１１１に対して出力するとともに、画像特徴量と検査結果を保管優先度付与手段１０８に対して出力する。そして、ステップＳ１０３（画像出力ステップ）において、画像出力手段１０７での画像データおよび画像特徴量がデータストレージ１１１に送信され、格納される。

続いて、図４のステップＳ１０４ｂ（保管優先度計算ステップ）において、保管優先度付与手段１０８は、画像特徴量と検査結果に基づいて、データストレージ１１１に格納されている画像データの保管優先度を決定する。ここでは、画像出力手段１０７がデータストレージ１１１に対して出力した、あるいは過去に出力した画像データの保管優先度を決定する。そして、データストレージ１１１に対して、保存されている画像データの保管優先度の変更要求を出力する。保管優先度付与手段１０８での過去の画像データの保管優先度決定は、保管優先度計算ステップＳ１０４ｂにて実行する。

保管優先度付与手段１０８での保管優先度の変更要求の出力は、保管優先度付与ステップＳ１０５にて実行する。データストレージ１１１は、画像データの保管優先度の変更要求に基づいて画像データの保管優先度を変更する。データストレージ１１１での画像データの保管優先度の変更は、保管優先度付与ステップＳ１０５にて実行する。図４において、ステップＳ１０６（画像削除ステップ）の構成は、図３と同等である。ここでは重複した説明は省略するものとする。

また、本実施形態では、撮像手段１０２が撮像して得た画像データから計算した画像特徴量に基づく検査結果が製品不良や計測異常を示していたり、画像特徴量が製品不良や計測異常を発生させる兆候を示していたりした場合に、保管優先度を高い値に更新する。また、画像データの撮像日時や、撮像に用いられた撮像手段を特定する識別情報は、撮影情報に含めてデータストレージ１１１に記憶させる。また、検査結果が製品不良や計測異常を示していたり、画像特徴量製品不良や計測異常を発生させる兆候を示していたりした場合に、過去の特定期間内の画像データの保管優先度を高い値に更新する処理を行う。

また、撮像手段１０２が撮像して得た画像データに対する予め指定した期間内の過去の画像データの中に製品不良や計測異常を示すものがあるか製品不良や計測異常を発生させる兆候を示していた場合、画像データの保管優先度を高くする制御を行ってもよい。画像削除手段１０９は、ステップＳ１０６（画像削除ステップ）において、データストレージ１１１にアクセスし、データストレージ１１１の空き容量が僅少である（予め決定した閾値以下か、あるいは未満）か否かを確認する。空き容量が僅少である場合は、上記実施形態１と同様に保管優先度の低い画像データから順に、空き容量が前記閾値以上（あるいはそれより多くなるまで）削除する。

本実施形態２によれば、以上の処理によって、製品不良や計測異常が発生しなくても、製品不良や計測異常が発生する可能性の高まった画像データが優先的に保管される。そのため、データストレージ１１１の容量に限りがある場合でも、製品不良や計測異常の原因を分析するために必要な画像データをなるべく削除せず、優先的に、長期間、保管できる。

上記のように、本実施形態２においても、撮影装置１０１（１０１１、１０１２、１０１３…）、コントローラ１１０、データストレージ１１１から成るハードウェア的な構成は、図１、図２、図９、図１０などに示したものと同様であるものとする。また、撮影装置１０１を構成する撮像手段１０２、画像処理手段１０４、画像出力手段１０７、画像削除手段１０９は、実施形態１と同様なため説明を省略するものとする。以下では、撮影装置１０１（１０１１、１０１２、１０１３…）の保管優先度付与手段１０８（図４のＳ１０４ｂ）について重点的に説明する。

保管優先度付与手段１０８は、保管優先度計算ステップＳ１０４ｂ、あるいはさらに保管優先度付与ステップＳ１０５を実行する。保管優先度計算ステップＳ１０４ｂでは、データストレージ１１１に保管された画像データに対して、検査結果を参照し、検査結果が“ＮＧ”であった場合に画像データの保管優先度を高い値に更新する。また、予め設定した期間だけ遡った過去の画像データの保管優先度を連続的に、あるいは予め設定したサンプリング間隔毎に高くするように決定、ないし更新する。

また、画像処理手段１０４が計算した画像特徴量が、設定した閾値を超えた場合に画像データの保管優先度を高くすると同時に、予め設定した期間だけ遡った過去の画像データの保管優先度が高い値になるよう決定、ないし更新する。保管優先度付与ステップＳ１０５では、保管優先度計算ステップＳ１０４ｂで決定した保管優先度に基づいて、データストレージ１１１に保管された画像データの保管優先度を更新する。本実施形態２においては、上記実施形態１と同様に画像データの保管優先度が高い値になるよう更新する設定期間を２週間と設定し、その期間の過去の画像データの保管優先度を連続的に高くする制御を行う。また、保管優先度の範囲を０から１００とし、０が最小の保管優先度、１００が最大の保管優先度とするのも同様である。

ここで、本実施形態２の保管優先度の具体的な決定方法を説明する。本実施形態２では、画像データの特徴量として、例えば、検査ないし測定対象の被写体に相当する二値画像面積を用いる。例えば定常時に、“ＯＫ”判定の二値画像面積は平均値が３，０００，０００、その標準偏差σ＝１００，０００であるとする。このとき、“ＯＫ”判定のうち９９．７％の結果は、定常時の平均値よりも３σ（３×標準偏差）までしか低下しないはずであり、定常時の３σよりも低い値となったことを検出すれば、想定外に二値画像面積が低くなった事象として画像を保管することができる。

なお、システムの判定精度やストレージの容量に応じて、３σでなく１σ、２σを使用して閾値を設定してもよいし、４σ、５σを使用してもよいのはいうまでもない。また、“ＯＫ”判定のうち平均値よりも＋３σ以上大きい（二値画像面積が高すぎる）場合にも保管優先度を高くしてもよいし、“ＮＧ”判定の±３σを超える場合にも保管優先度を高くしてもよい。本実施形態では、判定値２，０００，０００に対して、定常時の二値画像面積平均値３，０００，０００から３σ＝３００，０００を引いた、２，７００，０００を閾値とする。そして、対象の被写体が“ＯＫ”（良）と判定された場合、二値画像面積の計算結果が閾値以上であれば保管優先度を最小値０とし、二値画像面積の計算結果が閾値未満であれば保管優先度を５０とする。なお、二値画像面積が２,０００，０００を下回る場合、即ち判定が“ＮＧ”（不良）の場合には保管優先度を最大値１００とする。このようにして決定した保管優先度を画像データに付与、あるいは過去の画像データの保管優先度を更新する。これにより、検査結果が“ＮＧ”である場合の画像データに加えて、“ＮＧ”となる可能性が高まっている状態において撮像した画像データも、平常時よりも優先度を上げて保管することができる。

ステップＳ１０５（保管優先度付与ステップ）では、データストレージ１１１に画像データを出力した後、出力した画像データと過去の特定期間、例えば直近の２週間に撮像した画像データに対して、上記のように決定した保管優先度に変更する。撮像日時のデータは、画像データのヘッダに格納された（あるいは画像データに関連づけられた）撮影情報から特定することができる。この時、画像データの元の保管優先度が変更しようとしている保管優先度よりも高ければ、保管優先度を変更しない。即ち、変更前と変更後のうち、保管優先度が高いほうの値を採用する。なお、本実施形態では期間内の全ての画像データに対して保管優先度を付与するが、例えば画像データ１０個ごとに保管優先度を付与するなど、特定の間隔で保管優先度を付与ないし更新してもよい。また、このように特定の間隔で保管優先度を付与ないし更新する場合、その間隔は一定値でもよいし状況によって変動する動的な間隔でもよい。また、画像特徴量が判定閾値を超えた後の一定期間の画像データの保管優先度を高くしてもよいし、発生後の画像データが不要であれば、発生前の画像データのみに保管優先度を付与してもよい。また、画像データに保管優先度を付与するとともに、保管優先度を付与した日付・時刻や保管優先度を付与したときの適用条件をログ情報として保存してもよい。また、過去に保管優先度が更新された履歴情報（日付・時刻・保管優先度・保管優先度が変更されたときの適用条件など）をログ情報として保存してもよい。このようなログ情報は例えばデータストレージ１１１に保存することができる。

以上のようにして、本実施形態によれば、特定の撮影装置で撮像した画像データの特徴量が正常範囲からの逸脱を示す閾値を超えたことをトリガとして、同じ撮影装置で取得した画像データの画像保管優先度を過去に遡って高い値に更新する。このため、“ＮＧ”が発生した画像データのみならず、“ＮＧ”の発生に至る可能性のある画像データについても、“ＮＧ”や“ＮＧ”の兆候が発生する前、および後の一定期間の画像データをデータストレージ１１１に残すことが可能となる。従って、データストレージ１１１の容量に限りがある場合でも、製品不良や計測異常の原因を分析するために必要な画像データを削除することなく、長期間、保管できる。

＜実施形態３＞
本実施形態３では、検査結果を判定するための画像データの画像特徴量の分散値が増加したことをトリガとし、保管優先度の更新を行う。即ち、製品不良や計測異常に至る前の段階において、製品不良や計測異常に至るリスクが高まったことをトリガにしてその前後の画像データを優先的に保管できるよう制御する。

まず、検査結果を判定するための画像データの特徴量の分散値が増加する具体的な事例を示す。ここでは部品の有無検査として、撮像手段１０２で白色の部品（ワーク）の載った黒色トレイを撮像し、輪郭抽出処理を行った上で、その輪郭をテンプレートデータと比較するテンプレートマッチング処理を行うものとする。そして、画像データの画像特徴量としてのマッチングスコア（最小値０．０、最大値１．０）が０．８を超えれば“ＯＫ”、マッチングスコアが０．８未満であれば“ＮＧ”と判定する検査工程が画像処理手段１０４の検査スキームとして採用されているものとする。

この画像検査では、検査環境を構築した当初、“ＯＫ”判定のマッチングスコアは平均値０．９０、分散値０．０４（分散値の標準偏差σ＝０．０１）の数値を取り安定していたとする。また、“ＮＧ”判定の二値画像面積は平均値０．１０、分散値０．０４（分散値の標準偏差σ＝０．０１）の数値を取り安定していたとする。ところが、あるタイミングで撮像手段１０２に衝撃が加わるなどして、フォーカスがずれ、“ＯＫ”判定のマッチングスコアの分散が０．１０程度に増加したとする。この場合、マッチングスコアがバラつく状態に変化したことにより、本来は“ＯＫ”と判定するべきところを“ＮＧ”判定としてしまう可能性が高まる。

同様の誤判定は、上記の部品の有無検査において、部品のロット違いや金型のキャビティ違いや金型の短期的・長期的な変化により、部品のサイズがわずかに変化することにより部品部分にピントが合わなくなった場合等にも発生しうる。

上記のような検査態様では、例えば画像データの特徴量、例えば二値画像面積の変化の分散の変化をトリガとしてその前後の画像データの保管優先度を高い値に更新し、優先的に保管できる可能性がある。これにより、後にこの画像データを参照し、解析、検証を行う時、撮像手段１０２の状態やトレイの状態や部品の状態や外部環境に変化が生じたことに気付くことができる。そして、撮像手段１０２、あるいはトレイや部品や外部環境を適正化したり、判定閾値を変更したり、画像処理アルゴリズムを変更する、といった対応が可能となる。なお、以上では、テンプレートマッチングのマッチングスコア判定による有無検査を例として説明したが、その他の画像データに係る周知の画像特徴量の分散の変化をトリガにすることも考えられる。

上記のように、本実施形態３においても、撮影装置１０１（１０１１、１０１２、１０１３…）、コントローラ１１０、データストレージ１１１から成るハードウェア的な構成は、図１、図２、図９、図１０などに示したものと同様であるものとする。また、撮影装置１０１を構成する撮像手段１０２、画像処理手段１０４、画像出力手段１０７、画像削除手段１０９は、実施形態１と同様なため説明を省略するものとする。以下では、撮影装置１０１（１０１１、１０１２、１０１３…）の保管優先度付与手段１０８（特に図５のＳ１０４ｃ）について重点的に説明する。また、本実施形態３の制御手順は図５に示してあるが、そのステップＳ１０１（撮像ステップ）、ステップＳ１０３（画像出力ステップ）、画像削除ステップＳ１０６などは実施形態１と同様なので重複した説明は省略するものとする。

本実施形態３の画像処理手段１０４は、図５のステップＳ１０２（画像処理ステップ）において、部品の有無検査のため、製品不良や計測異常の原因の特定に必要な画像データの特徴量として、上記のテンプレートマッチングのマッチングスコアを計算する。なお、本実施形態３では画像データの特徴量を取得するのにテンプレートマッチングによるマッチングスコアの計算を行うものとして説明する。しかしながら、マッチングスコアの計算には、周知の各種のフィルタ処理を用いてもよく、周知の他の画像処理方式によって特徴量としてのマッチングスコアを計算してもよい。

本実施形態３の保管優先度付与手段１０８の処理は、例えば図５のステップＳ１０４ｃ（保管優先度計算ステップ）、およびステップＳ１０５（保管優先度付与ステップ）に相当する。ステップＳ１０４ｃ（保管優先度計算ステップ）では、データストレージ１１１の画像データの内、画像処理手段１０４が計算したマッチングスコアの分散値が所定以上であるものにつき、過去に遡って画像データの保管優先度を高い値に更新する。この時予め設定した期間（例えば２週間）だけ過去に遡った同一の撮像手段１０２で撮像した画像データの保管優先度を連続的に、あるいは予め設定したサンプリング間隔毎に高い値になるよう更新する。

ステップＳ１０５（保管優先度付与ステップ）では、ステップＳ１０４ｃ（保管優先度計算ステップ）で決定した保管優先度に基づいて、データストレージ１１１に保管された画像データの保管優先度を更新する。この時、本実施形態においても、保管優先度を更新するのに遡る過去の特定の期間を２週間と設定し、その期間に同じ撮像手段１０２で撮像された画像データの保管優先度を連続的に高い値になるよう更新する。また、本実施形態においても、保管優先度の範囲は０から１００とし、０が最小の保管優先度、１００が最大の保管優先度とする。

ここで、本実施形態３の保管優先度付与手段１０８における、保管優先度の具体的な決定方法を説明する。例えば、定常時に、検査ないし測定対象の被写体に関して“ＯＫ”（良）判定を行うための画像特徴量としての上記マッチングスコアの分散は、平均値が０．０４で、またその標準偏差σ＝０．０１であるものとする。このような検査スキームでは、“ＯＫ”判定のうち９９．７％の結果は、定常時の平均値よりも３σ（３×標準偏差）までしか増加しないはずである。従って、マッチングスコアの分散が定常時の３σよりも高い値となったことをトリガとして、つまり、想定外にマッチングスコアの分散が高くなった事をトリガとして、その画像データの保管優先度を高い値に更新する。なお、特徴量としてのマッチングスコアの分散値の閾値は標準偏差３σに限らず、システムの判定精度やストレージの容量に応じて、１σ、２σを閾値として使用してもよいし、４σ、５σを使用してもよい。また、“ＯＫ”判定のうち平均値よりも－３σ以下（マッチングスコアの分散値が低すぎる）の場合にも保管優先度を高い値に更新するよう制御してもよい。また、“ＮＧ”判定のマッチングスコアの分散値が±３σを超える場合にも保管優先度を高くしてもよい。例えば、本実施形態３では、 “ＯＫ”と判定される定常時のマッチングスコアの分散値０．０４に３σ＝０．０３を足した、０．０７を閾値とする。そして、過去２０枚の画像データに対するマッチングスコア（特徴量）の分散値の計算結果が閾値以下であれば保管優先度を最小値０とし、また、マッチングスコア（特徴量）の分散値の計算結果が閾値より大きければ保管優先度を５０とする。

ステップＳ１０５（保管優先度付与ステップ）では、データストレージ１１１に画像データを出力した後、出力した画像データと、直近の過去の特定期間、例えば直近の２週間の画像データを上記のように決定した高い値の保管優先度に変更する。その時、その特定期間において、上記のように決定した高い値の保管優先度に変更するのは、同じ撮影装置１０１で取得した画像データの保管優先度であるのはいうまでもない。また、この時、画像データの元の保管優先度が変更しようとしている保管優先度よりも高ければ、保管優先度を変更しない。つまり、変更前と変更後のうち、保管優先度が高いほうの値を採用する。この点も実施形態２と同様である。また、過去の特定期間内の全ての画像データに対して保管優先度を付与する他、例えば画像データ１０個ごとに保管優先度を付与する等、特定の間隔で保管優先度を付与してもよい。また、特定の間隔で保管優先度を付与する場合、その間隔は一定値でもよいし状況によって変動する動的な間隔でもよい。また、画像特徴量の分散値が閾値を超えた後の一定期間の画像データの保管優先度を高くしてもよいし、発生後の画像データが不要であれば、発生前の画像データのみに保管優先度を付与してもよい。これらの点についても、実施形態２と同様である。また、画像データに保管優先度を付与するとともに、保管優先度を付与した日付・時刻や保管優先度を付与したときの適用条件をログ情報として保存してもよい。また、過去に保管優先度が変更された履歴情報（日付・時刻・保管優先度・保管優先度が変更されたときの適用条件など）をログ情報として保存してもよい。このようなログ情報は例えばデータストレージ１１１に保存することができる。

以上のようにして、本実施形態によれば、特定の撮像手段で撮像した画像データの特徴量の分散値と閾値との比較に基づき、同じ撮像手段で撮像した画像データの画像保管優先度を過去に遡って高い値に更新する。このため、“ＮＧ”が発生した画像データのみならず、“ＮＧ”の発生に至る可能性のある画像データについても、“ＮＧ”や“ＮＧ”の兆候が発生する前および後の特定期間の画像データをデータストレージ１１１に残すことが可能となる。従って、データストレージ１１１の容量に限りがある場合でも、製品不良や計測異常の原因を分析するために必要な画像データを削除することなく、長期間、保管できる。

＜実施形態４＞
本実施形態４では、検査結果を判定するための画像データの特徴量の検査結果を判定するための画像特徴量の変化率、例えば勾配が変化したことをトリガとし、保管優先度の更新を行う。即ち、製品不良や計測異常に至る前の段階において、製品不良や計測異常に至るリスクが高まったことをトリガにしてその前後の画像データを優先的に保管できるよう制御する。

まず、検査結果を判定するための画像データの画像特徴量の変化率、例えば勾配が変化する具体的な事例を示す。例えば、白色部品の載った黒色トレイをＬＥＤ光源（不図示）により照明し、撮像手段１０２で撮影し、二値化画像を得る。そして検査ないし測定対象の部品（ワーク）の有無検査として、部品に相当する白色の二値画像の面積が２，０００，０００を超えれば“ＯＫ”、二値画像の面積が２，０００，０００以下であれば“ＮＧ”と判定する検査工程を実行するものとする。

この画像検査では、検査環境を構築した当初、“ＯＫ”判定の二値画像面積は３，０００，０００±５００，０００の数値をとり、“ＮＧ”判定の二値画像面積は１，０００，０００±５００，０００の数値をとり安定していたとする。一方、ＬＥＤ照明は、時間とともに輝度が低下し、その輝度低下の勾配は、例えば－１０％／８，７６０時間でほぼ一定である。これにより、同じ被写体の二値画像面積は１年間に３００，０００程度ずつ低下するので、３年間ごとに新しいＬＥＤ照明に交換することにより判定閾値２，０００，０００を下回らないようにしていたとする。ところが、あるタイミングで作業者が輝度設定を変更するなどして、輝度低下の勾配が－２０％／１０，０００時間に低下したとする。この場合、２年間で二値画像面積が１，２００，０００程度まで低下する可能性がある。これによって、ＬＥＤ照明を交換する前に、部品が画角中に存在して本来は“ＯＫ”と判定するべき画像データであっても“ＮＧ”判定が生じる可能性がある。

上記のような検査態様では、例えば画像データの画像特徴量、例えば二値画像面積の変化の勾配（変化率）をトリガとしてその前後の画像データの保管優先度を高い値に更新し、優先的に保管できる可能性がある。これにより、後にこの画像データを参照し、解析、検証を行う時、撮像手段１０２の状態やトレイの状態や部品の状態や外部環境に変化が生じたことに気付くことができる。そして、撮像手段１０２、あるいはトレイや部品や外部環境を適正化したり、判定値を変更したり、画像処理アルゴリズムを変更する、といった対応が可能となる。なお、以上では二値画像面積判定による有無検査を例として説明したが、その他の画像データに係る周知の画像特徴量の変化の勾配（変化率）をトリガにすることも考えられる。

本実施形態４においても、撮影装置１０１（１０１１、１０１２、１０１３…）、コントローラ１１０、データストレージ１１１から成るハードウェア的な構成は、図１、図２、図９、図１０などに示したものと同様であるものとする。また、撮影装置１０１を構成する撮像手段１０２、画像処理手段１０４、画像出力手段１０７、画像削除手段１０９は、実施形態１と同様なため説明を省略するものとする。以下では、撮影装置１０１（１０１１、１０１２、１０１３…）の保管優先度付与手段１０８（特に図６のＳ１０４ｄ）について重点的に説明する。また、本実施形態４の制御手順は図６に示してあるが、そのステップＳ１０１（撮像ステップ）、ステップＳ１０３（画像出力ステップ）、画像削除ステップＳ１０６などは実施形態１と同様なので重複した説明は省略するものとする。

本実施形態４の画像処理手段１０４は、図６のステップＳ１０２（画像処理ステップ）において、部品の有無検査のため、製品不良や計測異常の原因の特定に必要な画像データの特徴量として、上記の部品の有無検査のための二値画像面積を計算する。なお、本実施形態４では画像データの画像特徴量を取得するのに二値画像面積の計算を行うものとして説明する。しかしながら、部品の有無検査のためには、周知の各種のフィルタ処理を用いてもよく、また、周知の他の画像処理方式によって別の画像特徴量を計算し、その勾配（変化率）を評価してもよい。

本実施形態４の保管優先度付与手段１０８の処理は、例えば図６のステップＳ１０４ｄ（保管優先度計算ステップ）、およびステップＳ１０５（保管優先度付与ステップ）に相当する。ステップＳ１０４ｄ（保管優先度計算ステップ）では、画像処理手段１０４が計算した画像特徴量が、設定した範囲の勾配でなくなった場合に、過去に遡ってデータストレージ１１１に格納された画像データの保管優先度を高い値に更新する。この時、予め設定した期間（例えば２週間）だけ過去に遡った同一の撮像手段１０２で撮像した画像データの保管優先度を連続的に、あるいは予め設定したサンプリング間隔毎に高い値になるよう更新する。

ステップＳ１０５（保管優先度付与ステップ）では、ステップＳ１０４ｄ（保管優先度計算ステップ）で決定した保管優先度に基づいて、データストレージ１１１に保管された画像データの保管優先度を更新する。この時、本実施形態においても、保管優先度を更新するのに遡る過去の特定の期間を２週間と設定し、その期間に同じ撮像手段１０２で撮像された画像データの保管優先度を連続的に高い値になるよう更新する。また、設定期間と保管優先度の付与間隔は勾配の緩急によって切り替えるようにしてもよい。また、本実施形態においても、保管優先度の範囲は０から１００とし、０が最小の保管優先度、１００が最大の保管優先度とする。

ここで、本実施形態４の保管優先度付与手段１０８における、保管優先度の具体的な決定方法を説明する。例えば定常時に、被写体有無の判定が“ＯＫ”判定の二値画像面積の勾配（変化率）は平均値が－１００，０００／８，７６０時間で標準偏差σ＝１０，０００／８，７６０時間であるものとする。このとき、“ＯＫ”判定のうち９９．７％の結果は、定常時の平均値よりも３σ（３×標準偏差）までしか低下しないはずである。従って、定常時の３σよりも低い値となったことをトリガとし、つまり、想定外に二値画像面積の勾配（変化率）が急になった事をトリガとして、その画像データの保管優先度を高い値に更新する。また、定常時の３σよりも高い値となったことを検出すれば、想定していたよりも二値画像面積は低下していないはずなので保管優先度の値を高い値に更新せず、データストレージ１１１の容量を節約することもできる。なお、特徴量としてのマッチングスコアの分散値の閾値は標準偏差３σに限らず、システムの判定精度やストレージの容量に応じて、１σ、２σを閾値として使用してもよいし、４σ、５σを使用してもよい。また、例えば部品のデータシートに輝度劣化の仕様・温度特性・その他のバラつきに関する仕様が記載されているか、または正確なシミュレーションが可能であったりして、二値画像面積の勾配のとりうる範囲が既知である場合、その範囲の境界を閾値としてもよい。

本実施形態４では、“ＯＫ”と判定された場合の、定常時の二値画像面積の勾配－１００，０００／８，７６０時間から３σ＝３０，０００／８，７６０時間を引いた、－１３０，０００／８，７６０時間を第１の閾値とする。また、定常時の二値画像面積の勾配－１００，０００／８，７６０時間に３σ＝３０，０００／８，７６０時間を足した、－７０，０００／８，７６０時間を第２の閾値とする。そして、同じ撮像手段１０２で撮像した、例えば直近の過去２０枚の画像に対する計算結果が第１の閾値（－１３０，０００／８，７６０時間）以下であれば、保管優先度を過去に遡って８０に更新する。この場合も、保管優先度の設定期間は過去の特定期間、例えば２週間の期間に同じ撮像手段１０２で撮像した画像データに対して保管優先度の更新を連続的に行う。

また、計算結果が第２の閾値以上であれば保管優先度を最小値０とする。計算結果が第１の閾値と第２の閾値の間であれば保管優先度の設定期間を過去３か月、保管優先度の付与間隔を１日毎に設定した上で保管優先度を５０とする。このようにして、複数の画像データから得た特徴量の勾配が緩やかなときは、長期的な変化を確認するために間隔を空けて画像を保管し、勾配が急な時は、短期的な変化を確認するために連続的に画像を保管するように設定を切り替えることができる。

ステップＳ１０５（保管優先度付与ステップ）では、データストレージ１１１に画像データを出力した後、出力した画像データと、直近の過去の特定期間、例えば直近の２週間の画像データを上記のように決定した高い値の保管優先度に変更する。その時、その特定期間において、上記のように決定した高い値の保管優先度に変更するのは、同じ撮像手段１０２で撮像した画像データの保管優先度であるのはいうまでもない。また、この時、画像データの元の保管優先度が変更しようとしている保管優先度よりも高ければ、保管優先度を変更しない。つまり、変更前と変更後のうち、保管優先度が高いほうの値を採用する。この点も実施形態２、３と同様である。また、画像特徴量の勾配（変化率）が変化した後の一定期間の画像データの保管優先度をある期間毎に高くしてもよい。あるいは、画像特徴量の勾配（変化率）が生じた後の画像データが不要であれば、画像特徴量の勾配（変化率）が生じる前の画像データのみに高い保管優先度を付与、ないしは更新してもよい。また、画像データに保管優先度を付与するとともに、保管優先度を付与した日付・時刻や保管優先度を付与したときの適用条件をログ情報として保存してもよい。また、過去に保管優先度が変更された履歴情報（日付・時刻・保管優先度・保管優先度が変更されたときの適用条件など）をログ情報として保存してもよい。このようなログ情報は例えばデータストレージ１１１に保存することができる。

なお、本実施形態４では説明のために１つの画像データの画像特徴量についての閾値との余裕度、分散値の増加、勾配の変化を確認しているが、複数の異なる画像特徴量について確認を実施し、複合的に保管優先度を付与してもよい。

以上のようにして、本実施形態によれば、特定の撮像手段で撮像した画像データの特徴量の勾配（変化率）の変化に応じて、同じ撮像手段で撮像した画像データの画像保管優先度を過去に遡って高い値に更新する。このため、“ＮＧ”が発生した画像データのみならず、“ＮＧ”の発生に至る可能性のある画像データについても、“ＮＧ”や“ＮＧ”の兆候が発生する前および後の特定期間の画像データをデータストレージ１１１に残すことが可能となる。従って、撮影装置のデータストレージに限りがある場合でも、製品不良や計測異常の原因を分析するために必要な画像データを削除することなく、長期間、保管できる。

＜実施形態５＞
以上の実施形態１～４では、例えば図１、図２に示したように、各々の撮影装置１０１の制御装置によって、その撮影装置１０１の撮像手段１０２で撮像した画像データの保管優先度を決定し、また、過去に遡って保管優先度を更新する構成を示した。しかしながら、特定の撮像手段で撮像された画像データの保管優先度を決定し、また、過去に遡って保管優先度を更新する制御主体は、必ずしも撮影装置１０１の制御装置である必要はない。例えば、保管優先度を決定し、また、過去に遡って保管優先度を更新する制御をコントローラ１１０が実行する構成であってもよい。

図７は、コントローラ１１０が図２と同等の様式によって、保管優先度を決定し、また、過去に遡って保管優先度を更新する制御を行う構成を図示している。図７の構成は、コントローラ１１０とデータストレージ１１１との間に制御信号１１０４の経路が追加されている以外は図２と同様である。制御信号１１０４は、コントローラ１１０がデータストレージ１１１に対する保管優先度の付与ないし更新、あるいは画像データの削除などを要求するために用いられる。

本実施形態５では、撮影装置１０１（１０１１、１０１２、１０１３…）、コントローラ１１０、データストレージ１１１から成るハードウェア的な構成は、図１、図２、図９、図１０などに示したものと同様であるものとする。ただし、撮影装置１０１には、少なくとも撮像手段１０２、画像処理手段１０４、画像出力手段１０７があればよく、保管優先度付与手段１０８と画像削除手段１０９は本実施形態５では必ずしも必要ではない。

本実施形態５の制御手順は図８に示してある。図８では、図３～図６と同様の処理ステップには同じステップ番号を用いてあり、その処理内容は上述と同様であるものとする。図８のステップＳ１０１（撮像ステップ）、ステップＳ１０２（画像処理・結果判定ステップ）、ステップＳ１０３（画像出力ステップ）は、撮影装置１０１の撮像手段１０２、画像処理手段１０４、画像出力手段１０７によって行なわれる。これらのステップの内容は実施形態１と同様であるが、例えばステップＳ１０２（画像処理・結果判定ステップ）による被写体（ワークや製造装置）の状態に係るデータは、当該の画像データとともにデータストレージ１１１に送信されるものとする。その場合、画像処理の結果、得られた被写体（ワークや製造装置）の状態に係るデータは、当該の撮影装置の撮像手段で撮像された画像データと関連づけされた上、データストレージ１１１に格納（あるいは画像データのヘッダに格納）されるものとする。

一方、破線（Ｓ２００：Ｓ１０６１、Ｓ１０４ｅ、Ｓ１０５、Ｓ１０６２）で示した処理は、本実施形態５ではコントローラ１１０で実行する。これにより、保管優先度の計算を個々の撮影装置１０１（１０１１、１０１２、１０１３…）側で行わなくて良いため、各撮影装置の処理負荷が小さくて済む利点がある。

また、図８において、コントローラ１１０が実行する保管優先度の計算（Ｓ１０４ｅ）、保管優先度の変更（Ｓ１０５）は、実施形態１～４の図３～図６（ステップＳ１０４ａ～Ｓ１０４ｄ、Ｓ１０５）で説明したいずれの演算手法によっても実行可能である。

また、図８の制御では、コントローラ１１０の制御装置（図１０）が上記実施形態と同様の手法によりデータストレージ１１１の空き容量を確認（Ｓ１０６１）し、その値が僅少である場合に、ステップＳ１０４ｅ、Ｓ１０５およびＳ１０６２を実行する。即ち、データストレージ１１１の空き容量が僅少である場合に保管優先度の計算（Ｓ１０４ｅ）、保管優先度の変更（Ｓ１０５）、および画像データ削除（Ｓ１０６２）の各処理を行う。このため、システム全体の処理負荷が小さくて済む可能性がある。

なお、図８の制御において、保管優先度の計算と変更（Ｓ１０４ｅ、Ｓ１０５）では、特定の画像データに関連づけてデータストレージ１１１に格納されている被写体の状態を示すデータを参照して、保管優先度を付与ないし過去に遡って更新する制御を行う。また、特に保管優先度を過去に遡って更新する場合には、当然ながら当該の画像データの撮影情報などにより特定された同一の撮像手段１０２で撮像された画像データをその対象とするのはいうまでもない。

以上のように、本実施形態では、特定の撮像手段で撮像された画像データの保管優先度を決定し、また、過去に遡って保管優先度を更新し、あるいはさらに保管優先度を利用して画像データを削除する制御をコントローラ１１０によって実行することができる。これにより、撮影装置１０１（１０１１、１０１２、１０１３…）の構成や処理負荷を軽減することができる。また、データストレージ１１１の空き容量が僅少である場合に保管優先度の計算（Ｓ１０４ｅ）、保管優先度の変更（Ｓ１０５）、および画像データ削除（Ｓ１０６２）の各処理を行う事によりシステム全体の処理負荷を大きく軽減することができる。

なお、以上では、画像データと、その撮像に用いられた撮像手段を特定する撮影情報は、何らかの関連付けを持ってデータストレージ１１１に格納されるか、あるいは画像データのヘッダに格納されるものとして説明した。しかしながら、例えば、特定の同じ撮像手段で撮像された画像データや保管優先度のデータ、撮影情報などを、データストレージ１１１のファイルシステムの特定のディレクトリ（フォルダ）に集めて格納する、構成を採用してもよい。このような構成によれば、同じ撮像手段で撮像された画像データの保管優先度を更新したり、画像データを削除したりする時、同じディレクトリ（フォルダ）中にあるデータを対象とすればよい。従って、このような構成によれば、データ管理に必要な制御装置の処理負担を軽減できる可能性がある。

また、以上では、主に撮像手段で撮像された被写体（ワークや製造装置）の状態をその画像データの画像特徴量を介して評価する構成につき説明した。しかしながら、被写体（ワークや製造装置）の状態、例えば被写体の有無、特定位置への移動状態や、動作ストロークなどの動作状態などは、図９に示したセンサ７１、７２、７３…のようなセンサによって検出することもできる。センサとして、光センサ、振動センサ、温度センサなど、被写体が置かれた環境に関する値を検出するものを用いることができる。そして、センサ７１、７２、７３…によって検出した被写体（ワークや製造装置）の状態が正常範囲から逸脱したことをトリガとして、保管優先度を更新する制御を行うようにしてもよい。あるいはさらに、画像データの特徴量の評価に基づき決定した保管優先度と、センサ７１、７２、７３…が検出する被写体（ワークや製造装置）の状態によって決定した保管優先度と、を組合せて用いるようにしてもよい。例えば、画像データの画像特徴量の評価に基づき決定した保管優先度と、センサ７１、７２、７３…の検出によって決定した保管優先度とを加減算して、最終的な保管優先度を取得するような構成も考えられる。

本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

実施形態１～５では、複数の撮像手段を備える生産システムの例について説明したが、当然ながら、本発明は撮像手段が１つの場合にも適用することができる。また、本発明は生産システムに限定されるものではなく、監視カメラなど画像データを長期にわたって保存するシステムへも適用することができる。監視カメラの場合、例えば、人物や車などが特定位置を通過したことを検出すると、それをトリガとして、データストレージに保存されている、予め設定した期間だけ画像データの保管優先度を平常時よりも高めるように更新して保管するとよい。

保管優先度を計算する条件および／または保管優先度を更新する条件は、ユーザーが設定可能な構成とするのが好ましい。例えば、図１０に示した入力装置６０７がユーザーに情報を提示する表示部を備えており、表示部に設定／確認画面を表示してユーザーがデータを入力できるように構成する。設定／確認画面は、例えば、装置の立ち上げ時や、データストレージの空き容量が僅少となったタイミングなど、任意のタイミングで画面を呼び出して表示し、設定／確認が可能な構成とするのが好ましい。

入力装置６０７が備えるディスプレイの設定／確認画面には、ユーザーに入力させる項目を表示する。例えば、入力項目として、「保管優先度の更新期間」「保管優先度の更新トリガ」「保管優先度更新トリガの閾値」を設けるとよい。

「保管優先度の更新期間」は、複数の選択肢からユーザーに選択させてもよいし、ユーザーに任意に設定させてもよい。「保管優先度の更新トリガ」は、実施形態１で用いた検査結果、実施形態２で用いた画像特徴量、実施形態３で用いた画像特徴量の分散値など、予め用意した複数の選択肢の中からユーザーに選択させるのが好ましい。ユーザーが任意の選択肢を作成可能な構成とするのも好ましい。保管優先度の更新トリガは、１種類に限定されるものではなく、複数種類を設定できるようにしておくのが好ましい。また、「更新トリガの閾値」は、設定した更新トリガに対して、ユーザーが任意に設定できるか、選択肢から選択可能とするのが好ましい。

１０１…撮影装置、１０２…撮像手段、１０４…画像処理手段、１０７…画像出力手段、１０８…保管優先度付与手段、１０９…画像削除手段、１１０…コントローラ、１１１…データストレージ。

Claims (23)

1. 第１撮像装置が撮像して得た第１画像データおよび第２撮像装置が撮像して得た第２画像データを含む複数の画像データを、前記複数の画像データのそれぞれに、当該画像データを撮像した撮像装置の個体を識別する識別情報および保管優先度を関連付け、前記複数の画像データを、前記保管優先度が高い画像データほど優先して保管されるように記憶装置に記憶し、
   前記第１撮像装置に関連する特定状態の検出に応じて、前記記憶装置にすでに記憶されている前記複数の画像データのうち前記識別情報を参照して特定された前記第１画像データに関連付けられている前記保管優先度を、第１保管優先度から前記第１保管優先度よりも高い第２保管優先度へ変更する、
   ことを特徴とする画像データ管理方法。
2. 請求項１に記載の画像データ管理方法において、前記変更の後の期間に、前記複数の画像データのうち前記保管優先度を参照して前記第２保管優先度に関連づけられている前記第１画像データを保管しつつ、前記複数の画像データのうち前記保管優先度を参照して前記第２保管優先度よりも低い保管優先度に関連付けられている前記第２画像データを前記記憶装置から削除する、画像データ管理方法。
3. 請求項１または２に記載の画像データ管理方法において、前記特定状態は、前記第１撮像装置で撮像された被写体に関連する、画像データ管理方法。
4. 請求項３に記載の画像データ管理方法において、前記第１撮像装置により取得された画像データから計算された画像特徴量に基づいて、前記被写体が前記特定状態にあるかを判定するステップを更に有する、画像データ管理方法。
5. 請求項４に記載の画像データ管理方法において、前記画像特徴量が所定範囲外の場合に、前記特定状態にあると判定される、画像データ管理方法。
6. 請求項４または５に記載の画像データ管理方法において、前記画像特徴量が、前記被写体の形状、または面積に基づいて、前記画像データから抽出される値である、画像データ管理方法。
7. 請求項４乃至６のいずれか１項に記載の画像データ管理方法において、前記画像特徴量が所定範囲外の場合は、前記被写体の状態が不良であると判定され、前記特定状態は、前記被写体の状態が不良である状態を含む、画像データ管理方法。
8. 請求項４乃至６のいずれか１項に記載の画像データ管理方法において、前記特定状態は、前記第１撮像装置で取得された複数の画像から取得した前記画像特徴量の分散値と変化率のうち少なくとも１つが所定の範囲内となった状態を含む、画像データ管理方法。
9. 請求項２に記載の画像データ管理方法において、前記削除は、前記記憶装置の空き容量が所定値を下回ったことに基づいて実行される、画像データ管理方法。
10. 請求項１から９のいずれか１項に記載の画像データ管理方法において、
    前記複数の画像データのそれぞれには、当該画像データを撮像した撮影日時情報が対応付けられており、前記複数の画像データは、第１期間に取得された第１の複数の画像データと、前記第１期間よりも後の第２期間に取得された第２の複数の画像データと、を含み、
    前記第２の複数の画像データは、前記第１画像データおよび前記第２画像データを含み、前記第１の複数の画像データは、前記第１撮像装置が撮像して得た第３画像データを含み、
    前記変更では、前記複数の画像データのうち前記撮影日時情報を参照して特定された前記第１画像データに関連付けられた前記保管優先度は変更され、前記複数の画像データのうち前記撮影日時情報を参照して特定された前記第２画像データおよび前記第３画像データに関連付けられた前記保管優先度は変更されない、画像データ管理方法。
11. 請求項２に記載の画像データ管理方法において、
    前記複数の画像データのそれぞれには、当該画像データを撮像した撮影日時情報が対応付けられており、
    前記複数の画像データは、第１期間に取得された第１の複数の画像データと、前記第１期間よりも後の第２期間に取得された第２の複数の画像データと、を含み、
    前記第１の複数の画像データは、前記第１画像データおよび前記第２画像データを含み、前記第２の複数の画像データは、前記第１撮像装置が撮像して得た第３画像データおよび前記第２撮像装置が撮像して得た第４画像データを含み、
    前記変更では、前記複数の画像データのうち前記識別情報を参照して特定された前記第３画像データに関連付けられた前記保管優先度は変更され、前記第４画像データに関連付けられた前記保管優先度は変更されず、
    前記変更の後の前記期間に、前記複数の画像データのうち前記撮影日時情報を参照して前記第２保管優先度より低い保管優先度に関連づけられている前記第３画像データおよび前記第４画像データを保管する、画像データ管理方法。
12. 請求項１から３のいずれか１項に記載の画像データ管理方法において、前記複数の画像データを処理して、前記複数の画像データの画像特徴量を計算するステップを更に有する、画像データ管理方法。
13. 請求項１または２に記載の画像データ管理方法において、
    前記第１撮像装置および前記第２撮像装置により前記複数の画像データを生成するステップと、
    前記記憶の後に、前記第１撮像装置により前記複数の画像データとは別の画像データを生成するステップと、を更に有し、
    前記特定状態は前記別の画像データを用いて検出される、画像データ管理方法。
14. 請求項１３に記載の画像データ管理方法において、
    前記別の画像データを処理して、前記別の画像データの画像特徴量を計算するステップを更に有し、
    前記特定状態は前記別の画像データの前記画像特徴量に基づいて検出される、画像データ管理方法。
15. 第１撮像装置が撮像して得た第１画像データと、第２撮像装置が撮像して得た第２画像データと、前記第１画像データよりも前に前記第１撮像装置が撮像して得た第３画像データと、前記第２画像データよりも後に前記第２撮像装置が撮像して得た第４画像データと、を含む複数の画像データのそれぞれに、当該画像データを撮像した撮像装置の個体を識別する識別情報および当該画像データを撮像した撮影日時情報および保管優先度を関連付け、前記保管優先度が高い画像データほど優先して保管されるように記憶装置に記憶し、
    前記第１撮像装置に関連する特定状態の検出に応じて、前記記憶装置にすでに記憶されている前記複数の画像データのうち、前記識別情報および前記撮影日時情報を参照して特定された前記第１画像データに関連付けられた前記保管優先度は第１保管優先度から前記第１保管優先度よりも高い第２保管優先度へ変更され、前記識別情報および前記撮影日時情報を参照して特定された前記第２画像データ、前記第３画像データおよび前記第４画像データに関連付けられた前記保管優先度は変更されず、
    前記変更の後に、前記第１画像データと前記第４画像データとを前記記憶装置に保管しつつ、前記記憶装置の空き容量に応じて、前記第２画像データおよび前記第３画像データを前記記憶装置から削除する、画像データ管理方法。
16. 請求項１に記載の画像データ管理方法において、前記複数の画像データの各々について、検査対象が画像に含まれているかを検査し、
    前記変更では、前記記憶装置にすでに記憶されている前記複数の画像データのうち、少なくとも前記検査対象が含まれている画像データに関連付けられている前記保管優先度を、前記第１保管優先度を前記第２保管優先度へ変更する、画像データ管理方法。
17. 請求項１から１６のいずれか１項に記載の画像データ管理方法を実行可能な画像取得装置と、ワークを取り扱う製造機構と、を備えた製造装置であって、前記画像取得装置が、前記製造機構、及び／または前記製造機構が取り扱うワークの画像を取得する製造装置。
18. 請求項１７に記載の製造装置が複数、配置されて成る生産システム。
19. 画像取得装置と、制御装置と、ワークを取り扱う製造機構とを備え、請求項１から１６のいずれか１項に記載の画像データ管理方法を実行可能な製造装置が複数、配置されて成る生産システムの画像管理方法において、
    特定の製造装置に設置された前記画像取得装置が、その製造装置の前記製造機構、及び／またはその製造装置の前記製造機構が取り扱うワークの画像データを取得し、
    前記特定の製造装置に設置された前記制御装置が、前記画像データに前記保管優先度を付与するステップと、前記記憶装置に前記画像データと前記保管優先度を互いに関連付けて記憶させるステップと、前記保管優先度を変更するステップと、を実行する生産システムの画像管理方法。
20. 請求項１から１６のいずれか１項に記載の画像データ管理方法の各ステップを制御装置に実行させる制御プログラム。
21. 請求項２０に記載の制御プログラムを格納したコンピュータ読み取り可能な記録媒体。
22. 請求項１から１６のいずれか１項に記載の画像データ管理方法を実行可能な画像取得装置と、ワークを取り扱う製造機構と、ユーザーがデータを入力可能な入力装置と、を備え、
    前記入力装置は表示部を備えており、前記表示部に、前記保管優先度を更新する条件を設定あるいは確認するための画面を表示する、製造装置。
23. 請求項２２に記載の製造装置において、前記保管優先度を更新する期間、または対象物が前記特定状態にあるかを判定する条件、のいずれかを前記画面を介して入力可能である、製造装置。

Images