JP6347589B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP6347589B2 JP6347589B2 JP2013225673A JP2013225673A JP6347589B2 JP 6347589 B2 JP6347589 B2 JP 6347589B2 JP 2013225673 A JP2013225673 A JP 2013225673A JP 2013225673 A JP2013225673 A JP 2013225673A JP 6347589 B2 JP6347589 B2 JP 6347589B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- feature data
- parameter
- image data
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
識別に用いるパラメータを決定する方法としては、実際に、様々なパラメータを設定した状態で、撮像及び前処理等を行い、これにより得られた画像データにおける識別性能に応じて、パラメータの値を決定する方法が知られている。
入力画像に対する前処理のパラメータの設定方法については、例えば特許文献1に開示されている。特許文献1の装置は、予め多数の画像例それぞれから抽出した特徴量と、その画像例に対して最適化した前処理方法を関連付けて記憶しておく。そして、装置は、新たな入力画像に対し、同様の特徴量を抽出して、その特徴量に基づいて、予め記憶しておいた画像例を選択し、選択した画像例に対応付けられている最適化された前処理方法を、新たな入力画像の前処理方法として選択する。
また、特許文献1の方法では、各前処理方法に応じた正しい結果を用意する必要はないが、適切な前処理方法を設定するためには、対象となる入力画像に類似した画像が予め用意されている必要がある。すなわち、入力画像として想定される様々な画像例を網羅的に用意しておく必要があり、データ量が膨大になるという問題があった。
(第1の実施形態)
図1は、第1の実施形態にかかる情報処理装置としてのパターン識別装置10を示す図である。パターン識別装置10は、画像データに含まれる物体のパターン識別を行う。本実施形態にかかるパターン識別装置10は、山積みされた物体の画像データを対象とし、パターン識別により、山積み状態の各物体の概略位置及び姿勢を推定する。
パターン識別においては、露光時間等の撮像時のパラメータや、エッジ抽出におけるフィルタサイズ等の前処理のパラメータを、対象の物体毎に適切に設定することにより、識別性能を向上させることができる。そこで、本実施形態にかかるパターン識別装置10は、撮像及び前処理のパラメータ毎の、パターン識別における性能、すなわち識別性能を評価し、評価結果に基づいて、撮像及び前処理の適切なパラメータ(利用パラメータ)を設定する。そして、パターン識別装置10は、利用パラメータを用いて得られた画像データに基づいて、実際にパターン識別を行う。
具体的には、パターン識別装置10は、まず、実際に、様々なパラメータで撮像及び前処理を行い、それぞれのパラメータに対し、中間データである中間画像を生成する。次に、パターン識別装置10は、それぞれの中間画像について、予め定めた複数の特徴量を抽出して特徴データを生成する。
そして、パターン識別装置10は、推定モデルを参照し、各中間画像から生成された複数の特徴データに基づき、各パラメータにおける識別性能を推定する。ここで、推定モデルは、特徴データから識別性能を推定するためのモデルである。
撮像パラメータ候補としては、例えば、露光時間やアンプのゲイン等の項目が挙げられる。露光時間のパラメータ候補は、具体的には、1ms、2ms、4ms、・・・、500ms等、露光時間の各値である。
他の例としては、前処理パラメータ候補は、バイアス補正を行うか否か、といった2値的な項目を含んでもよい。また、他の例としては、前処理パラメータ候補は、エッジ抽出処理として、Sobelフィルタ、Prewittフィルタ及びLaplacianフィルタのいずれを使うか、といった多値的な項目を含んでもよい。また、他の例としては、前処理パラメータ候補は、平滑化フィルタ、γ補正及びエッジ抽出の3つの処理をどのような順序で行うか、といった項目を含んでもよい。
撮像部103は、設定された撮像パラメータ候補を利用して、画像を撮像する。前処理部104は、設定された前処理パラメータ候補を利用して、撮像部103により得られた画像データに対し、前処理を施し、中間データとしての中間画像を得る。
Co−occurrence Matrixについては、下記文献を参照することができる。
Robert M.Haralick,K.Shanmugam,and Itshak Dinstein,"Texture Features for Image Classification",IEEE Transactions on System,Man and Cybernatic,Vol.6,pp.610−621,1973
本実施形態にかかる推定モデルは、モデル画像から抽出したf個の特徴量を並べた特徴ベクトルと、モデル画像に対するパターン識別の識別性能の評価値との関係をモデル化したものである。
本実施形態においては、推定モデルとして、Support Vector Regression(SVR)のを用いるものとする。SVRについては、下記文献を参照することができる。
Alex J.Smola and Bernhard Scholkopf,"A Tutorial on Support Vector Regression",Statistics and Computing,Vol.14,No.3,pp.199−222,2004
なお、本実施形態にかかる推定モデルは、後述する推定モデル生成装置50により生成され、推定モデル記憶部107に格納されているものとする。推定モデル生成装置50については、図5等を参照しつつ、後に詳述する。
パラメータ選択部109は、評価値推定部108により推定された、各パラメータに対する評価値に基づいて、パラメータ候補記憶部101に記憶されている複数のパラメータ候補の中から、利用パラメータを選択する。なお、本実施形態においては、パラメータ選択部109は、撮像用の利用パラメータと、前処理用の利用パラメータとを選択する。
パターン識別部106は、撮像用の利用パラメータ及び前処理用の利用パラメータがそれぞれ撮像部103及び前処理部104に設定された状態において得られた中間画像に基づいて、パターン識別処理を行う。パターン識別部106は、パターン識別により得られた、物体の概略位置や姿勢の複数の候補値を識別信頼度の高い順に並べた識別結果を生成し、これを出力する。なお、パターン識別部106による処理については、特開2011−216087号候補を参照することができる。
RAM203は、CPU201の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD204は、画像データや各種プログラム等各種情報を記憶する。表示部205は、各種情報を表示する。入力部206は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。
なお、パターン識別装置10の機能や後述する処理は、CPU201がROM202又はHDD204に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
本実施形態かかるパラメータ候補記憶部101は、露光時間に関するパラメータ候補をNt個、アンプのゲインに関するパラメータ候補をNg個格納しているものとする。この場合、パラメータ設定部102は、ステップS300において、「Nt×Ng」個の組み合わせを撮像パラメータ候補として順に設定する。すなわち、ステップS300〜ステップS307の処理は、「Nt×Ng」回繰り返される。
次に、ステップS302において、パラメータ設定部102は、パラメータ候補記憶部101に格納されている複数の前処理パラメータ候補の中から、前処理パラメータ候補を1つ選択する。そして、パラメータ設定部102は、選択した前処理パラメータ候補を前処理部104に設定する(第1の設定処理)。
本実施形態にかかるパラメータ候補記憶部101に格納される前処理パラメータ候補の組み合わせがNp個存在するものとする。この場合、パラメータ設定部102は、ステップS302において、Np個の前処理パラメータ候補を順に設定し、ステップS302〜ステップS306の処理をNp回繰り返す。
次に、ステップS304において、特徴データ生成部105は、中間画像から複数の特徴量を抽出し、抽出した特徴量に基づいて、特徴ベクトルを特徴データとして生成する(第1の特徴データ生成処理)。次に、ステップS305において、評価値推定部108は、推定モデル記憶部107に格納されている推定モデルを参照し、特徴データに基づいて、評価値を推定する(推定処理)。
なお、ステップS305において推定される評価値は、ステップS300において設定された撮像パラメータ候補及びステップS302において設定された前処理パラメータ候補に対する評価値である。
このように、ステップS302〜ステップS306の処理を繰り返すことにより、1つの撮像パラメータ候補に対し、すべての前処理パラメータ候補を組み合わせた場合の評価値が得られる。
ステップS307において、パラメータ設定部102は、すべての撮像パラメータ候補が既に選択されたか否かを確認する。未選択の撮像パラメータ候補が存在する場合には、パラメータ設定部102は、処理をステップS300へ進める。そして、ステップS300において、パラメータ設定部102は、未選択の撮像パラメータ候補を選択し、これを撮像部103に設定する。一方、ステップS307において、未選択の撮像パラメータ候補が存在しない場合には、パラメータ設定部102は、評価値推定処理を終了する。
次に、ステップS401において、パラメータ設定部102は、撮像用の利用パラメータを撮像部103に設定する。次に、ステップS402において、撮像部103は、ステップS401において設定された撮像用の利用パラメータを利用して、画像データを撮像する。
次に、ステップS405において、パターン識別部106は、中間画像に対し、パターン識別処理を施し、識別結果を得る。次に、ステップS406において、パターン識別部106は、識別結果を出力する。以上で、パターン識別処理が終了する。
また、他の例としては、パラメータ選択部109は、評価値の高い順に複数のパラメータ候補を選択してもよい。この場合、パラメータ設定部102は、複数のパラメータ候補の平均値を利用パラメータとしてもよい。
推定モデル生成装置50は、パターン識別装置10の推定モデル記憶部107に格納される推定モデルを生成する。推定モデル生成装置50は、パターン識別装置10と共通する機能を有している。ここでは、推定モデル生成装置50のうち、パターン識別装置10と異なる機能について説明する。
この回帰モデルの生成には、入力としての説明変数と、出力としての目的変数の組が多数利用されるのが好ましい。そこで、推定モデル生成装置50は、様々な物体を用いることにより、説明変数と目的変数を組としたデータを生成し、生成したデータに基づいて、推定モデルを生成することとする。なお、本実施形態においては、特徴データ及び評価値がそれぞれ説明変数及び目的変数となる。
パラメータ設定部502は、パターン識別装置10のパラメータ設定部102と同様である。同様に、撮像部503、前処理部504、特徴データ生成部505及びパターン識別部506は、それぞれパターン識別装置10の撮像部103、前処理部104、特徴データ生成部105及びパターン識別部106と同様である。なお、前処理部504により得られた中間画像をモデル中間画像と称する。また、特徴データ生成部505により得られた特徴データをモデル特徴データと称する。
なお、正解値を用意するための処理は、コストの大きい作業である。しかしながら、正価値を用意するための処理は、推定モデルの生成段階でのみ必要な処理であり、この段階において、いくつかの事例に対して実施すればよい。つまり、一旦、推定モデルの生成を行えば、新たな対象に対しては、個別に正解値の用意をする必要はない。したがって、正解値を用意するためのコストを抑えることができる。
なお、推定モデル生成装置50のハードウェア構成は、図2を参照しつつ説明した、パターン識別装置10のハードウェア構成と同様である。
なお、ステップS600〜ステップS610の処理は、繰り返し処理であり、ユーザ等は、ステップS600〜ステップS610の処理が繰り返される度に、異なる山積み状態の物体を準備する。そして、受付部507は、ステップS600〜ステップS610の処理が繰り返される度に、ステップS600において、異なる山積み状態の物体に対する正解値の入力を受け付ける。
そして、ステップS600において、受付部507がすべての山積み状態の物体に対する正解値の入力を受け付けるまで、ステップS600〜ステップS610の処理が繰り返される。
なお、ステップS601〜ステップS609の処理は、繰り返し処理であり、パラメータ設定部102は、ステップS601〜ステップS609の処理が繰り返される度に、未処理の撮像用のモデルパラメータを1つ選択する。そして、ステップS601において、パラメータ設定部502が、すべての撮像用のモデルパラメータを選択するまで、ステップS601〜ステップS609の処理が繰り返される。
なお、ステップS603〜ステップS608の処理は、繰り返し処理であり、パラメータ設定部502は、ステップS603〜ステップS608の処理が繰り返される度に、未処理の前処理用のモデルパラメータを1つ選択する。そして、ステップS603において、パラメータ設定部502がすべての前処理用のパラメータを選択するまで、ステップS603〜ステップS608の処理が繰り返される。
次に、ステップS605において、特徴データ生成部505は、モデル中間画像から複数の特徴量を抽出し、抽出した特徴量に基づいて、特徴ベクトルをモデル特徴データとして生成する(第2の特徴データ生成処理)。
次に、ステップS607において、評価値特定部508は、ステップS606において得られた識別結果と、ステップS600において受付部507が受け付けた正解値とに基づいて、設定されているモデルパラメータにおける識別性能の評価値を特定する。
評価値特定部508は、候補の個数毎に、適合率(Precision)と再現率(Recall)を算出する。評価値特定部508は、再現率毎の適合率の平均である、平均適合率(Average Precision)を求め、これを識別性能の評価値として特定する。
ステップS608において、パラメータ設定部502は、すべての前処理用のモデルパラメータが既に選択されたか否かを確認する。未選択の前処理用のモデルパラメータが存在する場合には、パラメータ設定部502は、処理をステップS603へ進める。一方、未処理の前処理用のモデルパラメータが存在しない場合には、パラメータ設定部502は、処理をステップS609へ進める。
これにより、用意された1つの山積み状態に対する1つの撮像用のモデルパラメータに対する、複数の前処理用のモデルパラメータそれぞれに対して、特徴データと評価値の組が生成される。
例えば、撮像用のモデルパラメータがNc通り、前処理用のモデルパラメータがNp通り存在するとする。この場合、1つの山積み状態に対し、「Nc×Np」組の特徴データと評価値の組が生成されることになる。そして、得られた特徴データと評価値の組は、すべて、推定モデル生成部509に送信される。以上で、準備された1つの山積み状態に対する処理が終了する。
ステップS611において、推定モデル生成部509は、ステップS600〜ステップS610における繰り返し処理において得られた特徴データと評価値の複数の組に基づいて、SVRモデルを推定モデルとして生成する(モデル生成処理)。以上で、推定モデル生成処理が終了する。
例えば、山積み状態数をNy、撮像用のモデルパラメータ数をNc、前処理用のモデルパラメータ数をNpとする。この場合、ステップS600〜ステップS610の処理において、の特徴データと評価値の組は、「Ny×Nc×Np」個生成される。例えば、Ny=10、Nc=15、Np=1,000の場合、150,000(10×15×1,000)組の組が生成される。
したがって、パターン識別装置10は、抽出した特徴量の条件等に基づき、ルールベースでパラメータを評価するといった手法と比較して、より適切なパラメータの評価を行うことができる。
また、推定モデル生成装置50は、最適な事例だけでなく、識別性能の低い事例も利用して推定モデルを生成する。したがって、生成された推定モデルを利用することにより、相対的に識別性能の高さを評価できる可能性が高くなる。このため、パターン識別装置10は、新たな対象の特徴データに基づいて、妥当な識別性能を推定することができる。
また、第2の変更例としては、推定モデルは、回帰モデルに限るものではなく、例えば、識別に成功する/失敗する、といった、2値的な判別を行うためのモデルであってもよい。
また、第4の変更例としては、本実施形態にかかる推定モデル生成装置50は、目的関数として、平均適合率を用いたが、これに限定されるものではない。他の例としては、推定モデル生成装置50は、所定個数までの識別結果に対するf値等を用いてもよい。このように、推定モデル生成装置50は、識別性能を表現するような指標を用いればよく、具体的な値は、実施形態に限定されるものではない。
例えば、推定モデル生成装置50は、各物体に関してNt通り(例えば、10通り等)山積み状態の画像を撮像し、それぞれに対して、平均適合率を求める。そして、推定モデル生成装置50は、同じパラメータであるNt回分の平均適合率の平均を、評価値として用いる等すればよい。
この場合目的変数としての評価値に対応する説明変数、すなわち中間画像から生成された特徴データはNt個存在する。したがって、推定モデル生成装置50は、それぞれの特徴データに対応する目的変数を、求めた評価値として扱えばよい。すなわち、推定モデル生成装置50は、同じ評価値を目的変数とするNt組のデータを生成すればよい。
また、第7の変更例としては、パターン識別装置10は、推定モデル生成装置50として機能してもよい。この場合、パターン識別装置10は、図1に示す機能構成に加えて、図5に示す受付部507、評価値特定部508及び推定モデル生成部509をさらに有することとする。
次に、第2の実施形態にかかるパターン識別装置及び推定モデル生成装置について説明する。ここでは、第2の実施形態にかかるパターン識別装置及び推定モデル生成装置について、第1の実施形態にかかるパターン識別装置10及び推定モデル生成装置50と異なる点について説明する。
本実施形態にかかるパターン識別装置は、検査対象となる物体の撮像画像に基づいて、パターン識別により物体表面上の欠陥の有無を識別する。本実施形態にかかるパターン識別装置は、パターン識別における撮像及び前処理のパラメータだけでなく、撮像時の照明にかかるパラメータの評価を行う。なお、本実施形態にかかるパターン識別装置は、パラメータ評価において、欠陥の存在しない物体を撮像した画像を利用する。
そして、本実施形態にかかるパターン識別装置は、照明、撮像及び前処理の利用パラメータを設定し、利用パラメータを用いて得られた画像データに基づいて、パターン識別により、欠陥を検出する。
図7に示すパラメータ候補記憶部701は、複数のパラメータ候補を記憶している。本実施形態にかかるパラメータ候補は、撮像パラメータ候補と、前処理パラメータ候補と、照明に係る照明パラメータ候補の3種類を含んでいる。照明パラメータ候補としては、明るさ、照明光の波長、検査対象物体への入射角度等の項目が挙げられる。
照明部703は、検査対象物体を照射する照射系である。パラメータ選択部705は、評価値推定部108により推定された、各パラメータに対する評価値に基づいて、パラメータ候補記憶部701に記憶されている複数のパラメータ候補の中から、利用パラメータ候補を選択する。本実施形態にかかるパラメータ選択部705は、撮像用の利用パラメータ、前処理用の利用パラメータ及び照明用の利用パラメータを選択する。
なお、本実施形態にかかる推定モデル記憶部107に格納されている推定モデルは、検査対象物体の良品の中間画像から生成された特徴データに基づき、識別性能を予測する回帰モデルである。すなわち、本実施形態にかかる推定モデルは、良品の中間画像から生成されたデータを説明変数、識別性能を目的変数とする回帰モデルである。
なお、ステップS800〜ステップS801の処理は、繰り返し処理であり、パラメータ設定部702は、ステップS800〜ステップS801の処理が繰り返される度に、未処理の照明パラメータ候補を1つ選択する。そして、ステップS800において、パラメータ設定部702がすべての照明パラメータ候補を選択するまで、ステップS800〜ステップS801の処理が繰り返される。
なお、第2の実施形態にかかる評価値推定処理におけるこれ以外の処理は、第1の実施形態にかかる評価値推定処理と同様である。
なお、本実施形態にかかる評価値推定処理においては、ステップS301において、撮像部103が撮像対象とするのは、検査対象物体の良品である。
以上のように、本実施形態にかかるパターン識別装置11は、照明に関するパラメータについても評価を行うことができる。さらに、パターン識別装置11は、評価結果を用いて、利用パラメータを選択するので、物体における欠陥の有無を精度よく検出することができる。
推定モデル生成装置51は、ユーザによって用意された複数の物体セットそれぞれに含まれる物体の撮像画像に基づいて、推定モデルを生成する。ここで、物体セットは、同一種類の物体についての複数の良品と、複数の不良品とを含んでいる。また、複数の物体セットは、互いに異なる種類の物体に対する良品と不良品のセットである。なお、不良品の中間画像は、目的変数である識別性能(評価値)を求めるために利用されるものである。すなわち、推定モデル生成装置51は、不良品の中間画像からは、特徴ベクトルの抽出は行わない。
パラメータ設定部902及び照明部903は、それぞれ図7に示すパラメータ設定部702及び照明部703と同様である。欠陥検出部904は、パターン識別によりモデル中間画像から、欠陥の画像を検出する。
推定モデル生成部906は、特徴データ生成部505により生成されたモデル特徴データと、評価値特定部905により特定された評価値とに基づいて、SVRの回帰関数モデルを推定モデルとして生成する。
そして、推定モデル生成装置51は、モデル生成処理において、良品の中間画像から生成した特徴ベクトルと、良品及び不良品の中間画像から特定した評価値とを組としたデータを生成し、生成したデータに基づいて、推定モデルを生成する。
ステップS600〜ステップS610の処理は、繰り返し処理であり、受付部507は、ステップS600〜ステップS610の処理が繰り返される度に、推定モデル生成用の異なる物体に対する正解値の入力を受け付ける。そして、ステップS600において、受付部507がすべての物体に対する正解値の入力を受け付けるまで、ステップS600〜ステップS610の処理が繰り返される。
そして、推定モデル生成装置51は、各種類の物体セットに含まれる各物体(良品及び不良品)について、ステップS1000〜ステップS1003の処理を行う。本実施形態にかかる推定モデル生成装置51は、初めにNok個の良品に対する処理を行い、その後、Nng個の不良品に対する処理を行う。
なお、ステップS1000〜ステップS1003の処理は、繰り返し処理であり、パラメータ設定部902は、ステップS1000〜ステップS1003の処理が繰り返される度に、未処理の照明用のモデルパラメータを1つ選択する。そして、ステップS1000において、パラメータ設定部902が、すべての照明用のパラメータを選択するまで、ステップS1000〜ステップS1003の処理が繰り返される。
さらに、前処理(ステップS604)が終了すると、ステップS1001において、欠陥検出部904は、モデル中間画像において、欠陥の画像を検出する。欠陥検出部904は、例えば、特開2010−079272号公報に記載のパターン識別方法により欠陥の画像を検出する。
なお、ステップS1001及びステップS1002の処理は、撮像対象の物体が良品及び不良品いずれの場合においても実行される。ステップS609の後、CPU201は、すべての撮像用のモデルパラメータに対し、ステップS601〜ステップS609の処理を繰り返し(ステップS1003)、その後処理をステップS610へ進める。
例えば、1種類の物体に対して設定された各モデルパラメータ候補に対し、Nok個の良品と、Nng個の不良品とが存在する場合には、Nok個の特徴データと、失敗事例数(評価値)とが得られることとなる。特徴データと評価値のデータの組は、推定モデル生成部906へ送信される。ここで、特徴データと失敗事例数は、それぞれ説明変数と目的変数に相当する。
例えば、物体の種類がNs種、良品の個数がNok個、モデルパラメータの候補数がNxであるとする。この場合、特徴データと失敗事例数の組は、「Ns×Nx×Nok」個得られる。したがって、Ns=10、Nx=2,000、Nok=100である場合には、2,000,000(10×2,000×100)の組が得られる。
以上のように、第2の実施形態にかかる推定モデル生成装置51は、パターン識別装置11に対応し、照明のパラメータを含む複数のパラメータを用いて得られた中間画像に基づいて、推定モデルを生成する。
なお、本実施形態にかかる推定モデルの評価値は、失敗事例数である。したがって、対応するパターン識別装置11は、評価値が最小となるようなパラメータ候補を利用パラメータとして選択することにより、高精度に欠陥を検出することができる。
次に、第3の実施形態にかかるパターン識別装置及び推定モデル生成装置について説明する。ここでは、第3の実施形態にかかるパターン識別装置及び推定モデル生成装置について、他の実施形態にかかるパターン識別装置及び推定モデル生成装置と異なる点について説明する。
本実施形態にかかるパターン識別装置は、監視カメラにより撮像された動画像に基づいて、パターン識別により監視エリア内の異常を検出する。より具体的には、本実施形態にかかるパターン識別装置は、さらに他の実施形態にかかるパターン識別装置と同様に、パラメータの評価により利用パラメータを設定し、利用パラメータを用いて得られた動画像に基づいて、異常を検出する。
他の実施形態にかかるパターン識別は、中間画像に基づいて行われ、パラメータの評価値推定は、特徴データに基づいて行われる。これに対し、本実施形態にかかるパラメータの評価値推定及びパターン識別は、いずれも特徴データに基づいて行われる。
監視カメラ1101は、監視エリア内の動画像を撮像する。なお、監視カメラ1101は、パラメータの評価値推定処理の実行時には、異常の発生していない状況における動画像を撮像する。前処理部1102は、動画像の各フレームに対し、閾値を用い、画素値に対する2値化処理を行うことにより、中間動画像を得る。
CHLACの抽出に関しては、特開2006−079272号公報を参照することができる。また、CHLACの抽出においては、空間方向及び時間方向それぞれのマスク幅(変位幅)及び積分範囲を適切に設定することが好ましい。この点については、南里 卓也、大津 展之、"複数人動画像からの異常動作検出"、情報処理学会論文誌、コンピュータビジョンとイメージメディア、Vol.46、pp.43−50、2005に記載されている。
パラメータ設定部1105は、パラメータ候補記憶部1104から前処理パラメータ候補及び特徴パラメータ候補を読み出し、それぞれ前処理部1102及び特徴データ生成部1103に設定する。
異常検出部1107は、前処理用の利用パラメータ及び特徴データ生成用の利用パラメータがそれぞれ前処理部1102及び特徴データ生成部1103に設定された状態において得られた特徴データに基づいて、パターン識別による異常検出を行う。
ステップS302において、前処理部1102に前処理パラメータ候補が設定された後、ステップS303において、前処理部1102は、動画像に対し前処理を実行し、中間動画像を生成する。
このように、第3の実施形態にかかるパターン識別装置12は、特徴パラメータ候補についての評価値を推定することができる。
なお、第3の実施形態にかかる評価値推定処理におけるこれ以外の処理は、第1の実施形態にかかる評価値推定処理と同様である。
推定モデル生成装置52は、ユーザによって用意された複数の動画像セットそれぞれに含まれる動画像に基づいて、推定モデルを生成する。ここで、動画像セットは、同一環境に対する複数の通常動画像と、複数の異常動画像とを含んでいる。また、複数の動画像セットは、互いに異なる環境に対する通常動画像及び異常動画像のセットである。ここで、異なる環境としては、例えば、監視エリア内の異なる領域や、異なる監視エリア等が挙げられる。
なお、異常動画像の中間動画像は、目的変数である識別性能(評価値)を求めるために利用されるものである。すなわち、推定モデル生成装置52は、異常動画像の中間動画像からは、特徴ベクトルの抽出は行わない。
なお、前処理部1302により得られる中間動画像をモデル中間動画像と称する。また、特徴データ生成部1303により得られる特徴データをモデル特徴データと称する。
推定モデル生成部1309は、特徴データ生成部1303により生成されたモデル特徴データと、評価値特定部1308により特定された評価値とに基づいて、SVRの回帰関数モデルを推定モデルとして生成する。
推定モデル生成装置52は、モデル生成処理において、通常動画像から生成した特徴ベクトルと、通常動画像及び異常動画像の中間動画像から特定した評価値とを組としたデータを生成し、生成したデータに基づいて、推定モデルを生成する。
ステップS1400〜ステップS1405の処理は、繰り返し処理である。動画像受付部1301及び正解値受付部1307はそれぞれ、ステップS1400〜ステップS1405の処理が繰り返される度に、推定モデル生成用の動画像及び正解値の入力を受け付ける。
すなわち、推定モデル生成装置52は、各種類の動画像セットに含まれる各動画像(正常動画像及び異常動画像)それぞれについて、ステップS1400〜ステップS1405の処理を行う。本実施形態にかかる推定モデル生成装置52は、初めにNok個の通常動画像に対する処理を行い、その後、Nng個の異常動画像に対する処理を行う。
次に、ステップS1402において、異常検出部1306は、モデル中間動画像に基づいて、異常を検出する。次に、ステップS1403において、評価値特定部1308は、異常検出部1306による検出結果と、正解値とに基づいて、設定されているモデルパラメータの評価値を特定する。具体的には、評価値特定部1308は、正解値が異常なしであるにもかかわらず異常が検出された場合及び正解値が異常ありであるにもかかわらず異常が検出されない場合に、失敗事例と判断する。そして、評価値特定部1308は、ステップS601〜ステップS608の繰り返し処理において、環境の種類毎の失敗事例数をカウントし、これを1つのモデルパラメータに対する環境の種類毎の評価値として特定する。
ステップS1406において、推定モデル生成部1309は、ステップS1405までの処理において得られたデータの組に基づいて、推定モデルを生成する。
なお、第3の実施形態にかかるパターン識別装置12及び推定モデル生成装置52のこれ以外の構成及び処理は、それぞれ他の実施形態にかかるパターン識別装置及び推定モデル生成装置の構成及び処理と同様である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (19)
- パターン識別に利用するパラメータ候補を設定する第1の設定手段と、
前記第1の設定手段により設定された前記パラメータ候補を利用して得られた画像データの特徴データを生成する第1の特徴データ生成手段と、
複数のモデルパラメータそれぞれを利用して得られた複数の画像データの特徴データと、前記モデルパラメータの評価値との関係をモデル化した推定モデルを格納する記憶手段と、
前記推定モデルを参照し、前記第1の特徴データ生成手段により生成された前記特徴データに基づいて、前記パラメータ候補の評価値を推定する推定手段と
を有する情報処理装置。 - 前記第1の設定手段により設定された、撮像条件に関する前記パラメータ候補を利用して、前記画像データを撮像する撮像手段をさらに有し、
前記第1の特徴データ生成手段は、前記撮像手段により得られた前記画像データの前記特徴データを生成し、
前記記憶手段は、前記撮像条件に関する前記複数のモデルパラメータそれぞれを利用して撮像された複数の画像データそれぞれの特徴データと、前記評価値との関係をモデル化した前記推定モデルを格納する請求項1に記載の情報処理装置。 - 前記第1の設定手段により設定された、画像処理に関する前記パラメータ候補を利用して、前記画像データに対し画像処理を施す画像処理手段をさらに有し、
前記第1の特徴データ生成手段は、画像処理後の前記画像データの前記特徴データを生成し、
前記記憶手段は、前記画像処理に関する前記複数のモデルパラメータそれぞれを利用した画像処理を施すことにより得られた複数の画像データそれぞれの特徴データと、前記評価値との関係をモデル化した前記推定モデルを格納する請求項1又は2に記載の情報処理装置。 - 前記第1の特徴データ生成手段は、前記第1の設定手段により設定された異なる複数のパラメータ候補それぞれに対応する複数の特徴データを生成し、
前記推定手段は、前記推定モデルを参照し、前記複数の特徴データそれぞれに基づいて、複数のパラメータ候補それぞれの前記評価値を推定し、
複数の前記評価値に基づいて、前記複数のパラメータ候補の中から、パターン識別に利用する利用パラメータを選択する選択手段と、
前記利用パラメータを用いて得られた画像データに基づいて、パターン識別を行う識別手段と
をさらに有する請求項1乃至3何れか1項に記載の情報処理装置。 - 前記モデルパラメータを設定する第2の設定手段と、
前記第2の設定手段により設定された複数のモデルパラメータそれぞれを利用して得られた複数のモデル画像データそれぞれのモデル特徴データを生成する第2の特徴データ生成手段と、
前記モデル画像データと、前記モデル特徴データと、前記モデル画像データに対する正解値とに基づいて、前記推定モデルを生成するモデル生成手段と
をさらに有し、
前記記憶手段は、前記モデル生成手段により生成された前記推定モデルを格納する請求項1乃至4何れか1項に記載の情報処理装置。 - パターン識別に利用するパラメータ候補を設定する第1の設定手段と、 前記第1の設定手段により設定された前記パラメータ候補を利用して、画像データの特徴データを生成する第1の特徴データ生成手段と、
複数のモデルパラメータそれぞれを利用して得られた複数の特徴データと、前記モデルパラメータの評価値との関係をモデル化した推定モデルを記憶する記憶手段と、
前記推定モデルを参照し、前記第1の特徴データ生成手段により生成された前記特徴データに基づいて、前記パラメータ候補の評価値を推定する推定手段と
を有する情報処理装置。 - 前記第1の特徴データ生成手段は、前記第1の設定手段により設定された異なる複数のパラメータ候補それぞれに対応する複数の特徴データを生成し、
前記推定手段は、前記推定モデルを参照し、前記複数の特徴データそれぞれに基づいて、複数のパラメータ候補それぞれの前記評価値を推定し、
複数の前記評価値に基づいて、前記複数のパラメータ候補から、パターン識別に利用する利用パラメータを選択する選択手段と、
前記利用パラメータを用いて得られた特徴データに基づいて、パターン識別を行う識別手段と
をさらに有する請求項6に記載の情報処理装置。 - 前記モデルパラメータを設定する第2の設定手段と、
前記第2の設定手段により設定された複数のモデルパラメータそれぞれを利用して、モデル画像データの複数のモデル特徴データを生成する第2の特徴データ生成手段と、
前記モデル特徴データと、前記モデル画像データと、前記モデル画像データに対する正解値とに基づいて、前記推定モデルを生成するモデル生成手段と
をさらに有し、
前記記憶手段は、前記モデル生成手段により生成された前記推定モデルを格納する請求項6又は7に記載の情報処理装置。 - 前記推定モデルは、前記特徴データを説明変数とし、前記評価値を目的変数とする回帰モデルである請求項1乃至8何れか1項に記載の情報処理装置。
- パターン識別に利用するパラメータの評価値を推定する推定モデル用のモデルパラメータを設定する設定手段と、
前記設定手段により設定された複数のモデルパラメータそれぞれを利用して得られた複数のモデル画像データそれぞれのモデル特徴データを生成する特徴データ生成手段と、
前記モデル画像データと、前記モデル特徴データと、前記モデル画像データに対する正解値とに基づいて、前記推定モデルを生成するモデル生成手段と
を有する情報処理装置。 - パターン識別に利用するパラメータの評価値を推定する推定モデル用のモデルパラメータを設定する設定手段と、
前記設定手段により設定された複数のモデルパラメータそれぞれを利用して、モデル画像データの複数のモデル特徴データを生成する特徴データ生成手段と、
前記モデル特徴データと、前記モデル画像データと、前記モデル画像データに対する正解値とに基づいて、前記推定モデルを生成するモデル生成手段と
を有する情報処理装置。 - 情報処理装置が実行する情報処理方法であって、
パターン識別に利用するパラメータ候補を設定する第1の設定ステップと、
前記第1の設定ステップにおいて設定された前記パラメータ候補を利用して得られた画像データの特徴データを生成する第1の特徴データ生成ステップと、 複数のモデルパラメータそれぞれを利用して得られた複数の画像データの特徴データと、前記モデルパラメータの評価値との関係をモデル化した推定モデルを参照し、前記第1の特徴データ生成ステップにおいて生成された前記特徴データに基づいて、前記パラメータ候補の評価値を推定する推定ステップと
を含む情報処理方法。 - 情報処理装置が実行する情報処理方法であって、
パターン識別に利用するパラメータ候補を設定する第1の設定ステップと、
前記第1の設定ステップにおいて設定された前記パラメータ候補を利用して、画像データの特徴データを生成する第1の特徴データ生成ステップと、
複数のモデルパラメータそれぞれを利用して得られた複数の特徴データと、前記モデルパラメータの評価値との関係をモデル化した推定モデルを参照し、前記第1の特徴データ生成ステップにおいて生成された前記特徴データに基づいて、前記パラメータ候補の評価値を推定する推定ステップと
を含む情報処理方法。 - 情報処理装置が実行する情報処理方法であって、
パターン識別に利用するパラメータの評価値を推定する推定モデル用のモデルパラメータを設定する設定ステップと、
前記設定ステップにおいて設定された複数のモデルパラメータそれぞれを利用して得られた複数のモデル画像データそれぞれのモデル特徴データを生成する特徴データ生成ステップと、
前記モデル画像データと、前記モデル特徴データと、前記モデル画像データに対する正解値とに基づいて、前記推定モデルを生成するモデル生成ステップと
を含む情報処理方法。 - 情報処理装置が実行する情報処理方法であって、
パターン識別に利用するパラメータの評価値を推定する推定モデル用のモデルパラメータを設定する設定ステップと、
前記設定ステップにおいて設定された複数のモデルパラメータそれぞれを利用して、モデル画像データの複数のモデル特徴データを生成する特徴データ生成ステップと、
前記モデル特徴データと、前記モデル画像データと、前記モデル画像データに対する正解値とに基づいて、前記推定モデルを生成するモデル生成ステップと
を含む情報処理方法。 - コンピュータを、
パターン識別に利用するパラメータ候補を設定する第1の設定手段と、
前記第1の設定手段により設定された前記パラメータ候補を利用して得られた画像データの特徴データを生成する第1の特徴データ生成手段と、
複数のモデルパラメータそれぞれを利用して得られた複数の画像データの特徴データと、前記モデルパラメータの評価値との関係をモデル化した推定モデルを参照し、前記第1の特徴データ生成手段により生成された前記特徴データに基づいて、前記パラメータ候補の評価値を推定する推定手段と
して機能させるためのプログラム。 - コンピュータを、
パターン識別に利用するパラメータ候補を設定する第1の設定手段と、
前記第1の設定手段により設定された前記パラメータ候補を利用して、画像データの特徴データを生成する第1の特徴データ生成手段と、
複数のモデルパラメータそれぞれを利用して得られた複数の特徴データと、前記モデルパラメータの評価値との関係をモデル化した推定モデルを参照し、前記第1の特徴データ生成手段により生成された前記特徴データに基づいて、前記パラメータ候補の評価値を推定する推定手段と
して機能させるためのプログラム。 - コンピュータを、
パターン識別に利用するパラメータの評価値を推定する推定モデル用のモデルパラメータを設定する設定手段と、
前記設定手段により設定された複数のモデルパラメータそれぞれを利用して得られた複数のモデル画像データそれぞれのモデル特徴データを生成する特徴データ生成手段と、
前記モデル画像データと、前記モデル特徴データと、前記モデル画像データに対する正解値とに基づいて、前記推定モデルを生成するモデル生成手段と
して機能させるためのプログラム。 - コンピュータを、
パターン識別に利用するパラメータの評価値を推定する推定モデル用のモデルパラメータを設定する設定手段と、
前記設定手段により設定された複数のモデルパラメータそれぞれを利用して、モデル画像データの複数のモデル特徴データを生成する特徴データ生成手段と、
前記モデル特徴データと、前記モデル画像データと、前記モデル画像データに対する正解値とに基づいて、前記推定モデルを生成するモデル生成手段と
して機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013225673A JP6347589B2 (ja) | 2013-10-30 | 2013-10-30 | 情報処理装置、情報処理方法及びプログラム |
US14/525,777 US20150116543A1 (en) | 2013-10-30 | 2014-10-28 | Information processing apparatus, information processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013225673A JP6347589B2 (ja) | 2013-10-30 | 2013-10-30 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015087940A JP2015087940A (ja) | 2015-05-07 |
JP6347589B2 true JP6347589B2 (ja) | 2018-06-27 |
Family
ID=52994978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013225673A Active JP6347589B2 (ja) | 2013-10-30 | 2013-10-30 | 情報処理装置、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20150116543A1 (ja) |
JP (1) | JP6347589B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190096057A1 (en) | 2017-05-11 | 2019-03-28 | Jacob Nathaniel Allen | Object inspection system and method for inspecting an object |
JP7024239B2 (ja) * | 2017-07-25 | 2022-02-24 | オムロン株式会社 | 画像処理システム、画像処理装置および画像処理プログラム |
JP6985210B2 (ja) * | 2018-05-29 | 2021-12-22 | 株式会社 日立産業制御ソリューションズ | 検査機能診断装置、検査機能診断方法及び検査機能診断プログラム |
EP3806447A4 (en) * | 2018-06-11 | 2021-07-14 | Panasonic Intellectual Property Management Co., Ltd. | IMAGING CONTROL DEVICE, IMAGING CONTROL METHOD, AND PROGRAM |
WO2020110269A1 (ja) * | 2018-11-29 | 2020-06-04 | 日本電気株式会社 | 個体識別装置 |
KR20230024390A (ko) | 2020-06-17 | 2023-02-20 | 이노비전 소프트웨어 솔루션즈, 인크. | 결함 복원을 위한 시스템 및 방법 |
US12080057B2 (en) | 2020-07-20 | 2024-09-03 | Nec Corporation | Image analysis apparatus, image analysis method, and storage medium |
WO2022019312A1 (ja) * | 2020-07-21 | 2022-01-27 | 株式会社アダコテック | 情報処理システム、情報処理装置、情報処理方法及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5248873A (en) * | 1991-06-10 | 1993-09-28 | Synaptics, Incorporated | Integrated device for recognition of moving objects |
JP2003256771A (ja) * | 2002-03-06 | 2003-09-12 | Nippon Telegr & Teleph Corp <Ntt> | 情景内文字撮像方法とその装置及び情景内文字撮像プログラムとそのプログラムを記録した記録媒体。 |
JP2004283410A (ja) * | 2003-03-24 | 2004-10-14 | Konica Minolta Holdings Inc | 医用画像生成装置、医用画像処理システム、撮影条件の調整方法及び異常陰影候補の検出条件の調整方法 |
JP2006234869A (ja) * | 2005-02-22 | 2006-09-07 | Fuji Xerox Co Ltd | 画質調整方法、画質調整装置、および出力制御装置、並びにプログラム |
JP4412214B2 (ja) * | 2005-03-29 | 2010-02-10 | 日本電気株式会社 | パターン認識装置、パターン認識方法およびそのパターン認識装置をもつ電子機器 |
JP4894741B2 (ja) * | 2007-12-03 | 2012-03-14 | ソニー株式会社 | 情報処理装置および情報処理方法、プログラム、並びに記録媒体 |
JP4756660B2 (ja) * | 2008-03-14 | 2011-08-24 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
US8280196B2 (en) * | 2009-05-12 | 2012-10-02 | Canon Kabushiki Kaisha | Image retrieval apparatus, control method for the same, and storage medium |
-
2013
- 2013-10-30 JP JP2013225673A patent/JP6347589B2/ja active Active
-
2014
- 2014-10-28 US US14/525,777 patent/US20150116543A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20150116543A1 (en) | 2015-04-30 |
JP2015087940A (ja) | 2015-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6347589B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6241576B1 (ja) | 検査装置及び検査方法 | |
US10824906B2 (en) | Image processing device, non-transitory computer readable storage medium, and image processing system | |
WO2019188040A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6794737B2 (ja) | 情報処理装置、情報処理方法、プログラムおよび検査システム | |
JPWO2020031984A1 (ja) | 部品の検査方法及び検査システム | |
JP7059883B2 (ja) | 学習装置、画像生成装置、学習方法、及び学習プログラム | |
KR102206698B1 (ko) | 이상 검사 장치 및 이상 검사 방법 | |
CN111860565A (zh) | 用于训练用于测量技术中的质量检查的分类器的工作流程 | |
US20140050387A1 (en) | System and Method for Machine Vision Inspection | |
US9947164B2 (en) | Automatic fault diagnosis method and device for sorting machine | |
JP2012032370A (ja) | 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体 | |
JP2007114843A (ja) | 良否判定装置 | |
JP7027978B2 (ja) | 検査装置、検査方法、及び検査プログラム | |
WO2021181749A1 (ja) | 学習装置、画像検査装置、学習済みパラメータ、学習方法、および画像検査方法 | |
CN107004266A (zh) | 检测轮胎表面上缺陷的方法 | |
JP2015041164A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2013224833A (ja) | 外観検査装置、外観検査方法及びコンピュータプログラム | |
JP7298176B2 (ja) | 欠点検査装置および学習済みモデル | |
US20240095983A1 (en) | Image augmentation techniques for automated visual inspection | |
US20240005477A1 (en) | Index selection device, information processing device, information processing system, inspection device, inspection system, index selection method, and index selection program | |
CN117745678A (zh) | 一种输送带滚筒包胶检测方法、装置、设备及存储介质 | |
WO2016092783A1 (en) | Information processing apparatus, method for processing information, discriminator generating apparatus, method for generating discriminator, and program | |
JP6708695B2 (ja) | 検査装置 | |
KR102000938B1 (ko) | 영역 지정에 따른 지능형 판정 기준의 자동 설정 방법 및 그에 의한 스마트 학습 방식의 엑스레이 검사 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161012 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180501 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180529 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6347589 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |