JP6684777B2 - 製造物良・不良判定システムおよび製造物良・不良判定方法 - Google Patents
製造物良・不良判定システムおよび製造物良・不良判定方法 Download PDFInfo
- Publication number
- JP6684777B2 JP6684777B2 JP2017243815A JP2017243815A JP6684777B2 JP 6684777 B2 JP6684777 B2 JP 6684777B2 JP 2017243815 A JP2017243815 A JP 2017243815A JP 2017243815 A JP2017243815 A JP 2017243815A JP 6684777 B2 JP6684777 B2 JP 6684777B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- defective
- vector
- data
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Description
本発明は、製造物良・不良判定システムおよび製造物良・不良判定方法に係り、特に、製造物の製造時における良・不良を判定するための基準を算出するのに好適な製造物良・不良判定システムおよび製造物良・不良判定方法に関する。
各種記憶装置の容量の大規模化、計算機演算性能の向上、ネットワーク上の転送速度の高速化等により、各種業務において、大量の電子的履歴情報の蓄積が可能となった。情報の内容としても、従来の書誌的情報だけではなく、映像、画像等の多様なメディア情報が蓄積することが可能となった。
このような背景から、これらの電子的履歴情報を利活用するための情報処理技術へのニーズが高まっている。例えば、製造業における製品製造工程では、検査画像、各種センサによる計測結果等の情報が蓄積可能である。これらの履歴情報を活用することによって、製造時の歩留まりの向上、製造工程の効率化等に貢献できる技術が実現できれば、産業分野の発展に大きく寄与することとなる。
例えば、特許文献１には、ＦＡ（Factory Automation）におけるワークの良品判定のために、候補となるモデル画像候補と計測画像をマッチングさせ、その評価結果により最適なモデル画像を決定する技術が開示されている。
また、特許文献２には、製造物の検査のために、欠陥の像についての特徴量とその特徴量に対する良否判定結果との組を学習サンプルとして、その学習サンプルにより、外観検査の識別のため学習をする技術が開示されている。
製造工程における検査項目には、製品の良/不良を直接判定できるような情報を測定するものと、取得された情報からの判定方式が自明には定義できないものとがある。半導体の製造工程を例にすれば、ウェハ上の各チップの電気特性の計測結果は、前者に相当するものである。これに対して、例えば、ウェハの外観を画像として取得し、良／不良を自動的に判定しようとするような場合が、後者に相当する。従来「外観検査」は、種々の製品の製造工程において、人間が目視によって実施してきたものである。これを自動的におこなおうとした場合、「良品からの逸脱」を定量化し判定する必要があるが、同一の製造工程であっても、品種等が変れば、「良品」の定義も変動する。また、「逸脱」に関する許容も一義的に定義することは困難である。
良品からの逸脱性を定量的に管理できれば、製造工程における不良品の判定、不良品のパターンに基づく解析による不良原因の特定等の作業の効率化が実現できる。
一方、製造工程では、通常の場合、良品と不良品の出現頻度は著しく異なる。良品の標本は、多数取得できるが、不良品に関して、十分な標本を取得することが困難な場合が多い。上記の定量的な管理のために、良・不良の判定済みのデータを用いた機械学習的な手法を適用しようとする場合、この分布の偏りが課題となる。
上記特許文献１および特許文献２には、このように良・不良のサンプルの偏りが有る場合のモデル情報の構築については、記載されていない。
本発明の目的は、製造物の製造時における良・不良のサンプルの偏りがある場合に、良・不良を判定するための基準を算出して、製造工程における外観検査画像のような、良・不良判の基準の設定が容易ではない検査対象に対して、不良対策のための基準となる解析モデルと判定のための基準値を提供することにある。
本発明の製造物良・不良判定システムの構成は、製造物の良・不良を判定するためのモデルを構成するための製造物良・不良判定システムであって、製造物に係る対象に対して、良・不良が付与された情報を入力する手段と、製造物に係る対象の特徴量ベクトルを算出する手段とを有し、良が付与された製造物に係る対象の特徴量ベクトルをクラスタリングして、各々のクラスタに含まれる特徴量ベクトルから、平均ベクトルを求め、そのクラスタから算出された平均ベクトルの集合を、良品モデルを表す統計量として、良品モデルを構成し、製造物の対象の特徴量ベクトルに対して、良品モデルとの距離を算出し、不良が付与された製造物に係る対象の特徴量ベクトルから良品モデルに定められた距離が小さい特徴量ベクトルを、定められた選択数だけ選択し、選択した特徴量ベクトルをクラスタリングして、各々のクラスタに含まれる特徴量ベクトルから、平均ベクトルを求め、そのクラスタから算出された平均ベクトルの集合を、不良品モデルを表す統計量として、不良品モデルを構成し、製造物の対象の特徴量ベクトルに対して、不良品モデルとの距離を算出し、製造物の対象の特徴量ベクトルに対して、良品モデルとの距離と不良品モデルとの距離から算出され、良品モデルとの距離と不良品モデルとの距離の評価の配分の割合を定めるパラメータを含む良・不良判定の評価指標から製造物の良・不良判定の値を算出するようにしたものである。
本発明によれば、製造物の製造時における良・不良のサンプルの偏りがある場合に、良・不良を判定するための基準を算出して、製造工程における外観検査画像のような、良・不良判定の基準の設定が容易ではない検査対象に対して、不良対策のための解析モデルと判定のための基準値を提供することができる。
以下、本発明に係る各実施形態を、図１ないし図２３を用いて説明する。
〔実施形態１〕
以下、本発明に係る各実施形態を、図１ないし図１７を用いて説明する。
以下、本発明に係る各実施形態を、図１ないし図１７を用いて説明する。
先ず、図１および図２を用いて実施形態１に係る製造物良・不良判定システムの構成について説明する。
製造物良・不良判定システムは、製造物良・不良判定装置１００、ＤＢ（DataBase）サーバ３００、クライアント端末５０がネットワーク５により相互に接続された形態である。
製造物良・不良判定システムは、製造物良・不良判定装置１００、ＤＢ（DataBase）サーバ３００、クライアント端末５０がネットワーク５により相互に接続された形態である。
製造物良・不良判定装置１００は、ＤＢサーバ３００のＤＢ４００に基づいて、製造物の良・不良を判定するためのモデルを構成し、各々の製造物の画像から良・不良を判定するための基準値を提供する装置である。また、本実施形態の製造物良・不良判定装置１００は、Ｗｅｂインタフェースを有しており、クライアント端末５０にＷｅｂページを提供するインタフェースも有する。
ＤＢ（DataBase）サーバ３００は、製造物良・不良判定装置１００に、ＤＢ４００にアクセスするためのインタフェースを提供するためのサーバである。
クライアント端末５０は、Ｗｅｂブラウザによって、製造物良・不良判定装置１００から送信されてくるＨＴＭＬ（HyperText Markup Language）プロトコルにより表示されてくる画面により、ＤＢ４００の各種テーブルに対して、データの入出力をするための端末装置である。
ＤＢサーバ３００のＤＢ４００には、製造物データ基準テーブル４１０、良品統計テーブル４２０、不良品統計テーブル４３０、良・不良判定テーブル４４０が格納されている。なお、これらのテーブルの詳細は、後に説明する。
次に、図２を用いて製造物良・不良判定装置の機能構成について説明する。
製造物良・不良判定装置は、ＰＣ（Personal Computer）のような一般的に情報処理装置で構成することができ、機能部として、図２に示されるように、製造物データ登録部１１０、統計情報更新部１２０、画像登録部１３０、画像特徴量抽出部１４０、判定結果登録部１５０、モデル構成部１６０、判定基準値算出部１７０、Ｗｅｂサーバ機能部１８０、ＤＢアクセス部２００、データ入出力部２１０からなる。
製造物良・不良判定装置は、ＰＣ（Personal Computer）のような一般的に情報処理装置で構成することができ、機能部として、図２に示されるように、製造物データ登録部１１０、統計情報更新部１２０、画像登録部１３０、画像特徴量抽出部１４０、判定結果登録部１５０、モデル構成部１６０、判定基準値算出部１７０、Ｗｅｂサーバ機能部１８０、ＤＢアクセス部２００、データ入出力部２１０からなる。
製造物データ登録部１１０は、製造物に関する各種データを、ＤＢアクセス部２００を介して、ＤＢに登録する機能部である。統計情報更新部１２０は、良・不良判定のためのモデルに関するＤＢの各種情報をＤＢアクセス部２００を介して、更新する機能部である。判定基準値算出部１７０は、個々の製造物の良・不良判定のための判定基準値を算出するための機能部である。画像登録部１３０は、入力された画像データを登録する機能部である。画像特徴量抽出部１４０は、画像データからその特徴量を抽出する機能部である。判定結果登録部１５０は、各々の画像に係る製造物が良品なのか不良品かの判定結果を登録する機能部である。ＤＢアクセス部２００は、ＤＢサーバ３００のＤＢに対するアクセスを提供する機能部である。データ入出力部２１０は、外部のシステムまたは装置と、ファイル経由でデータの入出力をおこなう機能部である。モデル構成部１６０は、製造物の良品を判定するための良品モデル、製造物の不良品を判定するための不良品モデルを構成する機能部である。
また、モデル構成部１６０は、良品モデル構成部１６１、不良品モデル構成部１６２のサブコンポーネントからなる。
良品モデル構成部１６１、不良品モデル構成部１６２は、画像の特徴量に基づいて、それぞれ良品モデル、不良品モデルを構成する機能部である。
Ｗｅｂサーバ機能部１８０は、Ｗｅｂサーバとしての機能を実現するための機能部であり、ＨＴＭＬ作成部１８１、クライアントＩ／Ｆ（Interface）部１８２のサブコンポーネントからなる。
ＨＴＭＬ作成部１８１は、クライアント端末５０に表示される文書のためのＨＴＭＬデータを作成する機能部である。クライアントＩ／Ｆ部１８２は、ネットワーク５を介して、クライアント端末５０との入出力処理をつかさどる機能部である。
なお、各機能部は、情報処理装置のハードウェアとしてＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などにインストールされたプログラムが、主記憶装置にロードされ、それをＣＰＵ（Central Processing Unit）が実行することにより、実現することができる。また、本実施形態では、製造物良・不良判定装置１００がＷｅｂサーバ機能を持つように記述したが、システムとして、別のＷｅｂサーバを設置し、そのＷｅｂサーバからのリクエストにより、データベースの更新をおこなうようにしてもよい。さらに、本実施形態の説明では、製造物良・不良判定装置１００と、ＤＢをアクセスするためのＤＢサーバ３００を別の装置として記述したが、同一のハードウェアであってもよい。
外観画像データ４２と良・不良判定情報４３が製造物良・不良判定装置１００に入力され、登録されるまでの流れは、以下のようになる。
先ず、製造物４１が、外観画像撮像装置５１０に投入されると、外観画像撮像装置５１０は、製造物の外観を撮像して、外観画像データ４２として出力され、記憶媒体またはネットワークなどの手段により、製造物良・不良判定装置１００に入力される。また、製造物４１は、その後、後工程に送られて、目視による製品検査等がおこなわれ、検査端末５２０から製造物４１と対応付けた良・不良判定情報４３が入力される。
入力された外観画像データ４２は、画像登録部１３０により、ＤＢアクセス部２００を介して、ＤＢ４００に登録される。また、良・不良判定情報４３は、各々の外観画像データ４２と対応付けた形式により、ＤＢアクセス部２００を介して、ＤＢ４００に登録される。
また、クライアント端末５０のＷｅｂブラウザ５１に表示される各画面から各種パラメータを入力して、良品モデルおよび不良品モデルの再構成をおこなうこともできる。このためのユーザインタフェースは、後に詳述する。
次に、図３ないし図５を用いて本実施形態の製造物良・不良判定システムが扱うデータ構造について説明する。
良・不良判定テーブルは、製造物の画像に対して、良・不良の判定結果を格納するテーブルであり、図３に示されるように、画像ＩＤ２０１、特徴量ベクトル２０２、判定結果２０３の各フィールドからなる。画像ＩＤ２０１には、画像を特定する識別子が、整数値の形式で格納される。特徴量ベクトル２０２には、その画像の特徴量が、実数値の次元数分からなる組のベクトル形式で格納される。なお、特徴量ベクトルの具体例は、後述する。判定結果２０３には、その画像に対応する製品の良・不良の判定結果が、ＯＫ（良品）、ＮＧ（不良品）、未判定の３値のいずれかとして格納される。
良・不良判定テーブルは、製造物の画像に対して、良・不良の判定結果を格納するテーブルであり、図３に示されるように、画像ＩＤ２０１、特徴量ベクトル２０２、判定結果２０３の各フィールドからなる。画像ＩＤ２０１には、画像を特定する識別子が、整数値の形式で格納される。特徴量ベクトル２０２には、その画像の特徴量が、実数値の次元数分からなる組のベクトル形式で格納される。なお、特徴量ベクトルの具体例は、後述する。判定結果２０３には、その画像に対応する製品の良・不良の判定結果が、ＯＫ（良品）、ＮＧ（不良品）、未判定の３値のいずれかとして格納される。
製造物データ基準テーブル４１０は、製造物に関する各種諸元を格納するテーブルであり、図４に示されるように、画像データ６０１、特徴量ベクトル６０２、判定結果６０３。判定基準値６０４、製造物ＩＤ６０５、品種６０６、表示用画像６０７の各フィールドからなる。
画像データ６０１には、外観画像撮像装置５１０が出力した外観画像データ４２が格納される。特徴量ベクトル６０２には、データ登録時において抽出された特徴量ベクトルが格納される（詳細は、後述）。判定結果６０３には、ＯＫ、ＮＧの２値 をとるデータが格納され、データ登録時の設定は、常にＯＫ、すなわち、良品であるものとする。判定結果６０３の更新については、後述する。判定基準値６０４には、データ登録時の判定基準値算出処理によって算出された値が格納される。判定基準値算出処理については、後述する。製造物ＩＤ６０５には、個々の製造物を特定するための文字列が格納される。品種６０６には、特定された製造物の種類である品種の品種情報を表す文字列が格納される。表示用画像６０７には、クライアント端末５０に表示されるブラウザの画面上での一覧表示等の利便性を高めるために生成された画像データ６０１の縮小画像のデータが格納される。
特徴量ベクトル２０２としては、多数の抽出方式が提案されているが、本実施形態では、ＲＧＢ色空間を立方格子状に分割することによって、画像の色分布の情報を特徴量ベクトル化した色分布特徴量を用いる。カラー画像を構成する各画素値は、赤、緑、青の三つの値によって定義される。例えば、各値を４段階に離散化すれば、色空間は、４×４×４、計６４個の立方体に分割される。各立方体に含まれる画素の数を画像全体で集計することによって、６４次元の特徴量ベクトルを構成することができる。
良品統計量テーブル２３０、不良品統計量テーブル２４０は、それぞれ良品モデル、不良品モデルを表現する統計量を格納するテーブルであり、図５に示されるように、平均ベクトル７０１、品種７０２のフィールドからなる。
平均ベクトル７０１には、ある特徴量ベクトルのクラスタにおける平均ベクトル（後に詳述）が格納される。品種７０２には、特徴量ベクトルの表している製造物の品種が格納される。
良品統計量テーブル２３０、不良品統計量テーブル２４０では、品種ごとに、良品、および、不良品、それぞれのクラスタ平均ベクトルが管理され、１レコードには、ある品種のあるクラスタに対応する情報が格納される。したがって、例えば、全品種の不良品データのモデルに対して、一律に、三つのクラスタが定義されていたとすれば、不良品に関する不良品統計量テーブル２４０のレコード数は、品種数×３となる。
次に、図６ないし図１０を用いて製造物良・不良判定システムの処理について説明する。
先ず、図６を用いて製造物良・不良判定装置が実行する良品モデル、不良品モデルを構成する処理について説明する。
先ず、図６を用いて製造物良・不良判定装置が実行する良品モデル、不良品モデルを構成する処理について説明する。
最初に、図３の良・不良判定テーブル４４０のレコードの中から、判定結果２０３がＯＫであるレコードの特徴量ベクトル２０２に格納されている値を取得し、取得された特徴量ベクトルの集合から良品モデルを構成する（Ｓ３０１）。良品モデルの構成方法については、後述する。
次に、良・不良判定テーブル４４０のレコードの中から、判定結果２０３がＮＧであるレコードの特徴量ベクトル２０２に格納されている値を取得し、取得された特徴量ベクトルの集合中の各特徴量ベクトルと良品モデルとの距離を算出する（Ｓ３０２）。良品モデルとの距離の算出方法については、後述する。
次に、判定結果２０３がＮＧである特徴量ベクトルの集合中から、良品モデルと近い（距離が小さい）特徴量ベクトルを、定められた選択数だけ選択する（Ｓ３０３）。特徴量ベクトルの選択数は、データ数の規模に応じて、本実施形態の運用者が適切な値を設定する。ここで、不良品モデルを構成する場合に、良品モデルとの距離が小さい特徴量ベクトルを算出するのは、良品モデルとまぎらわしい特徴量ベクトルを算出してモデルを構成したほうが良・不良判定のために有用なモデルになり得るからである。
次に、Ｓ３０３で選択された特徴量ベクトルから不良品モデルを構成する（Ｓ３０４）。不良品モデルの構成方法については、後述する。
以上のＳ３０１からＳ３０４の処理により、良品モデルと不良品モデルが構成される。以下では、Ｓ３０１の良品モデルを構成、Ｓ３０４の不良品モデルの処理の詳細について説明する。また、良品モデルと不良品モデルより、製造物の良・不良を判定する処理についても説明する。
Ｓ３０１の良品モデルを構成する処理は、以下のように実現される。
判定結果２０３の値がＯＫ（良品）である特徴量ベクトル２０２に格納された特徴量ベクトルの集合に対して、ｋ−ｍｅａｎｓ法によるクラスタリングをおこなう。ｋ−ｍｅａｎｓ法は、情報処理技術の分野で良く知られたクラスタリング方法であり、与えられたデータの集合を、Ｋ個のクラスタに分類するものである。ｋ−ｍｅａｎｓ法の適用により、各特徴量ベクトルのクラスタに対して、その平均ベクトルが取得される。ｋ−ｍｅａｎｓ法では、クラスタ数Ｋを事前に設定する必要がある。本実施形態の場合は、本実施形態のシステムの運用者が、良品データの件数等に応じて、適切な値を設定するものとするが、Ｋ＝１、すなわち、１クラスタであってもよい。
判定結果２０３の値がＯＫ（良品）である特徴量ベクトル２０２に格納された特徴量ベクトルの集合に対して、ｋ−ｍｅａｎｓ法によるクラスタリングをおこなう。ｋ−ｍｅａｎｓ法は、情報処理技術の分野で良く知られたクラスタリング方法であり、与えられたデータの集合を、Ｋ個のクラスタに分類するものである。ｋ−ｍｅａｎｓ法の適用により、各特徴量ベクトルのクラスタに対して、その平均ベクトルが取得される。ｋ−ｍｅａｎｓ法では、クラスタ数Ｋを事前に設定する必要がある。本実施形態の場合は、本実施形態のシステムの運用者が、良品データの件数等に応じて、適切な値を設定するものとするが、Ｋ＝１、すなわち、１クラスタであってもよい。
ここで、クラスタ内の特徴量ベクトルの平均ベクトルを以下の（式１）により計算する。すなわち、クラスタの平均ベクトルは、そのクラスタ内の特徴量ベクトルの算術平均である。
ここで、ｖｋｉは、ｋ番目のクラスタ内の特徴量ベクトル、ｎｋは、ｋ番目のクラスタ内の特徴量ベクトルの個数、ｘｋは、ｋ番目のクラスタの平均ベクトルである。
ｋ−ｍｅａｎｓ法により取得された平均ベクトルの集合（Ｋ個ある）より、任意の特徴量ベクトルが与えられた場合の良品モデルとの距離は、次の（式２）のように定義される。
ｋ−ｍｅａｎｓ法により取得された平均ベクトルの集合（Ｋ個ある）より、任意の特徴量ベクトルが与えられた場合の良品モデルとの距離は、次の（式２）のように定義される。
ここで、ｚは、与えられた特徴量ベクトル、Ｘは、良品モデルを構成する平均ベクトルの集合、ｄ（ｚ，Ｘ）は、特徴量ベクトルｚと平均ベクトルの集合Ｘとの距離、ｘｋは、Ｘ中のｋ番目の平均ベクトル、二重線のかっこは、ベクトルのノルムである。すなわち、良品モデルとの距離は、良品モデルを構成する各平均ベクトルとの２乗ノルム中の最小値として定義される。また、Ｋ＝１、すなわち、１クラスタの場合は、良品モデルとの距離は、良品の全体についての平均ベクトルとの２乗ノルムとなる。
Ｓ３０４の処理で述べた不良品モデルは、Ｓ３０３の処理によって取得された特徴量ベクトルの集合に対して、ｋ−ｍｅａｎｓ法を適用することによって構成される。良品モデルの場合と同様に、クラスタ数Ｋ′は、本実施形態のシステムの運用者が、不良品データの件数等に応じて、適切な値を設定するものとする。
ｋ−ｍｅａｎｓ法の適用によって、Ｋ′個の特徴量ベクトルのクラスタに対して、クラスタの平均ベクトルが取得される。任意の特徴量ベクトルが与えられた場合の不良品モデルとの距離は、次の（式３）のように定義される。
ここで、Ｙは、不良品モデルを構成する平均ベクトルの集合、ｙｋは、Ｙを構成する各平均ベクトル、その他の表記は、（式２）と同様である。
この処理を図解すると、図７に示されるようになる。
この処理を図解すると、図７に示されるようになる。
次に、製造物が与えられた場合に、これらの良品モデル、不良品モデルから良・不良を判定する処理について説明する。
製造物の撮像画像から、その特徴量ベクトルを抽出する。特徴量ベクトルが与えられた場合に良・不良を判定するための基準となる数値は、（式２）による良品モデルとの距離、および、（式３）による不良品モデルとの距離を用いて、次の（式４）のように定義される。
製造物の撮像画像から、その特徴量ベクトルを抽出する。特徴量ベクトルが与えられた場合に良・不良を判定するための基準となる数値は、（式２）による良品モデルとの距離、および、（式３）による不良品モデルとの距離を用いて、次の（式４）のように定義される。
ここで、ｄ（ｚ）は、特徴量ベクトルｚに対する本基準となる数値、αは、良品モデルとの距離と不良品モデルとの距離を合成する際の配分を定める非負のパラメータである。
ｄ（ｚ）が、小さい程（良品に近い）、良品である可能性が高く、大きい程（良品から遠い）、不良品である可能性が高いと考えられる。未判定の特徴量ベクトルの集合が与えられた時、例えば、不良品である可能性が高いデータから順番にデータの状態を確認したい場合は、ｄ（ｚ）が大きい順序にソートした上で、順番に確認作業を実施すればよい。また、与えられた特徴量ベクトルに対して、良・不良の自動判定をおこなう場合は、ｄ（ｚ）の値に対して閾値を設定し、閾値以下であれば良品、閾値より大きければ不良品として判定すればよい。
なお、（式２)、（式３)、（式４)から明らかなように、本実施形態の良品モデル構成、不良品モデル構成のアルゴリズムは、外観検査画像に特化したものではなく、特徴量ベクトルに対する処理が本質である。したがって、画像以外の情報が元データである場合でも、適切な特徴量ベクトル化が可能であれば、本実施形態の方法は適用可能である。
次に、図８を用いて、製造物良・不良判定装置が実行する製造物のデータ登録をする処理について説明する。
ここでは、製造物の画像データがシステムがサポートするファイルシステムのあるディレクトリの中にまとめられているものとする。
ここでは、製造物の画像データがシステムがサポートするファイルシステムのあるディレクトリの中にまとめられているものとする。
製造物良・不良モデル構成装置の製造物データ登録部１１０は、先ず、システムが指定するディレクトリ中に存在する画像ファイルのリストを生成する（Ｓ５１０）。
次に、リスト中の全ての画像ファイルについて以下の一連の処理を実行する（Ｓ５２０）。
先ず、画像ファイル名から個々の製品を特定するＩＤ、および、その製品の品種を特定する（Ｓ５２１）。
次に、画像ファイルを読み込む（Ｓ５２２）。
次に、その画像から特徴量ベクトルを抽出する（Ｓ５２３）。
次に、抽出された特徴量ベクトルを用いて、判定基準値算出が行われる（Ｓ５２４）。判定基準値算出処理の詳細については、後述する。
次に、画像ファイルを読み込む（Ｓ５２２）。
次に、その画像から特徴量ベクトルを抽出する（Ｓ５２３）。
次に、抽出された特徴量ベクトルを用いて、判定基準値算出が行われる（Ｓ５２４）。判定基準値算出処理の詳細については、後述する。
次に、画像ＩＤ、品種、画像データ、特徴量ベクトル、判定基準値等の情報を、図４に示した製造物データ基準テーブル４１０に登録する（Ｓ５２５）。最後に、処理が終了した画像ファイルを、ディレクトリの中から削除する（Ｓ５２６）。これらの処理をリスト中の全ての画像ファイルに適用した後、製造物データ登録部１１０は、一定時間、処理を休止する（Ｓ５３０）。休止状態を終了すると、Ｓ５１０の処理に戻る。
次に、図９を用いて図８における判定基準値算出処理Ｓ５２４の詳細について説明する。
判定基準値算出Ｓ５２４の処理では、先ず、ＤＢサーバ３００に問い合わせることによって、良品モデル統計テーブル２３０から良品モデルの統計情報を取得する（Ｓ１６０１）。
判定基準値算出Ｓ５２４の処理では、先ず、ＤＢサーバ３００に問い合わせることによって、良品モデル統計テーブル２３０から良品モデルの統計情報を取得する（Ｓ１６０１）。
次に、良品モデルの統計情報が取得できたか否かを判定し（Ｓ１６０２）、取得できない場合には（Ｓ１６０２：Ｎｏ）、Ｓ５２４の処理を終了する。統計情報が取得できた場合には（Ｓ１６０２：Ｙｅｓ）、Ｓ５２３で抽出した特徴量ベクトルを用いて、（式２）により良品モデルとの距離を算出する（Ｓ１６０３）。
続いて、不良品モデル統計テーブル２４０の不良品モデルの統計情報をＤＢサーバ３００より取得する（Ｓ１６０４）。
次に、不良品モデルの統計情報が取得できたか否かを判定し（Ｓ１６０５）、取得できない場合は（Ｓ１６０５：Ｎｏ）、Ｓ１６０３での算出値を基準値とする（Ｓ１６０７）。
統計情報が取得できた場合は（Ｓ１６０５：Ｙｅｓ）、（式３）により不良品モデルとの距離を算出し（Ｓ１６０６）、（式４）により、判定基準値を算出する（Ｓ１６０７）。なお、（式４）中のパラメータαの値については、Ｗｅｂサーバ機能部１８０が、クライアント端末５０から入力されて取得した値を共有している（後述）。
次に、図１０を用いてＷｅｂサーバ機能部１８０で実行される統計情報更新処理について説明する。
Ｗｅｂサーバ機能部１８０は、先ず、良・不良判定モデルを構成するために必要なパラメータを取得する（Ｓ１５０１）。良・不良判定モデルを構成するために必要なパラメータは、クライアント端末５０から入力できるものとする（このユーザインタフェースは、後述する）。
Ｗｅｂサーバ機能部１８０は、先ず、良・不良判定モデルを構成するために必要なパラメータを取得する（Ｓ１５０１）。良・不良判定モデルを構成するために必要なパラメータは、クライアント端末５０から入力できるものとする（このユーザインタフェースは、後述する）。
次ぎに、良品データの件数が、本処理に必要な件数存在するか否かを確認する（Ｓ１５０２）。良品モデルのクラスタ数は、ユーザが指定できるようにする（このユーザインタフェースは、後述する）。本実施形態では、良品データの件数は、少なくとも、ユーザの指定する良品モデルのクラスタ数以上は必要としており、良品データの件数が必要件数を満たさない場合は（Ｓ１５０２：Ｎｏ）、本処理を終了する。良品データの件数が必要件数以上存在する場合は（Ｓ１５０１：Ｙｅｓ）、ＤＢサーバ３００に問い合わせることによって、指定された品種の良品データを検索する（Ｓ１５０３）。次に、その検索結果に、ｋ−ｍｅａｎｓ法を適用することによって良品モデルを構成する（Ｓ１５０４）。
次ぎに、不良品データの件数が、本処理に必要な件数存在するかを確認する（Ｓ１５０５）。本実施形態では、不良品データ数は、ユーザが指定できるようにする（このユーザインタフェースは、後述する）。本実施形態では、良品データの件数が、ユーザの指定する不良品データ数以上の場合のみ、以下の不良品モデル構成の処理をおこなう。不良品データ数が必要件数を満たさない場合には（Ｓ１５０５：Ｎｏ）、良品モデルの統計情報のみを、良品統計量テーブル２３０に保存する（Ｓ１５０８）。
不良品モデルの構成では、先ず、良品モデルに近い不良品データを検索する（Ｓ１５０６）。本検索は、品種および判定結果によって絞り込んだ類似検索によって実現する。良品モデルのクラスタ数をＫとすれば、各クラスタの平均ベクトルをクエリとする類似検索を実施し、Ｋ個の類似検索結果をマージした後、全体を類似度が高い順序にソートすることによって、所望の検索結果を取得することができる。個々の類似検索処理は、ＤＢサーバ３００上で実行され、検索結果のマージと最終的な検索結果の構成は、Ｗｅｂサーバ機能部１８０上で実行される。なお、本実施形態では、類似検索機能を持つＤＢサーバを前提にしているが、ＤＢサーバ３００に類似検索処理機能がない場合は、Ｗｅｂサーバ機能部１８０上で類似検索をおこなうようにしてもよい。また、検索結果のマージと最終的な検索結果の構成も含めて、ＤＢサーバ側が機能として提供している場合は、ＤＢサーバ側で、それらの処理を実施してもよい。なお、類似検索自体については、後述する。
上記の検索によって取得された不良品データに対してｋ−ｍｅａｎｓ法を適用することによって不良品モデルを構成する（Ｓ１５０７）。このようにして算出された良品、および、不良品の各モデルの情報は、良品モデル統計テーブル２３０、不良品モデル統計テーブル２４０に、それぞれ保存する（Ｓ１５０８）。
次に、更新された統計情報に基づき、図４に示した製造物データ基準テーブル４１０の判定基準値６０４を更新する。先ず、対応するレコードの品種６０６のレコードを検索する（Ｓ１５０９）。次に、検索された各レコードについて、特徴量ベクトル６０２を取得し、既出の（式４）にしたがって、判定基準値を算出し、製造物データ基準テーブル４１０の判定基準値６０４に保存する（Ｓ１５１０）。不良品モデルを構成しなかった場合は、（式４）の第１項、すなわち、（式２）の良品モデルとの距離のみで基準値を算出する。
次に、図１０の不良品データ検索処理Ｓ１５０６で言及した類似検索について説明する。
類似検索とは、問合せとして与えられた特徴量ベクトルと、データベース上に格納された特徴量ベクトルとを比較することによって、問合せベクトルと類似性が高いベクトルを取得する検索処理である。今、問合せられた特徴量ベクトルをｑ、データベース上のテーブルに格納されている任意の特徴量ベクトルをｘとし、次の（式５）により、両者の２乗距離ｄ（ｘ，ｑ）を算出する。
類似検索とは、問合せとして与えられた特徴量ベクトルと、データベース上に格納された特徴量ベクトルとを比較することによって、問合せベクトルと類似性が高いベクトルを取得する検索処理である。今、問合せられた特徴量ベクトルをｑ、データベース上のテーブルに格納されている任意の特徴量ベクトルをｘとし、次の（式５）により、両者の２乗距離ｄ（ｘ，ｑ）を算出する。
類似検索の最も単純な方式では、（式５）の距離を、データベース上の全データについて算出し、その結果をｄ（ｘ，ｑ）が小さい順序にソートする。ただし、この場合、特徴量ベクトルの次元数×データ件数に比例した計算量が必要となり、データ数が増大した場合には、処理時間が増大し、システム上での運用に適さないものとなる。類似検索結果を近似的に取得する方式としては、多次元インデキシングを用いたもの、クラスタリングを用いたもの等が提案されている。
なお、以上の説明では、（式５）により算出される２乗距離を類似性判断の基準としているが、ベクトル間の比較から定義できる、他の非類似度、ないしは、類似度を採用することも可能である。
なお、本実施形態では、類似検索結果を表示するユーザインタフェースも提供されている（詳細は後述）。
なお、本実施形態では、類似検索結果を表示するユーザインタフェースも提供されている（詳細は後述）。
次に、図１１ないし図１７を用いてＷｅｂサーバ機能部１８０がクライアント端末５０に提供するユーザインタフェースについて説明する。
本実施形態の製造物良・不良判定装置１００は、Ｗｅｂサーバとして機能し、クライアント端末５０に、図１１に示されるように、各種データの表示と入力をおこなうためのＷｅｂページとして、トップメニュー画面８００、登録データ一覧表示画面９００、個別データ表示画面１０００、統計情報更新画面１１００、不良品データ一括登録画面１２００、類似検索結果表示画面１３００を提供する。図１１の矢印は、ユーザの操作により可能な遷移を表したものである。
本実施形態の製造物良・不良判定装置１００は、Ｗｅｂサーバとして機能し、クライアント端末５０に、図１１に示されるように、各種データの表示と入力をおこなうためのＷｅｂページとして、トップメニュー画面８００、登録データ一覧表示画面９００、個別データ表示画面１０００、統計情報更新画面１１００、不良品データ一括登録画面１２００、類似検索結果表示画面１３００を提供する。図１１の矢印は、ユーザの操作により可能な遷移を表したものである。
トップメニュー画面８００は、図１２に示されるように、登録データ一覧表示ボタン８０１、個別データ表示ボタン８０２、統計情報更新ボタン８０３、不良品データ一括登録ボタン８０４を有しており、それをマウスなどのポインティングデバイスにより選択することにより、各機能を提供する画面に遷移することができる。
以下、これらの各機能を提供する画面について説明する。
トップメニュー画面８００の登録データ一覧表示ボタン８０１を選択すると、図１３に示される登録データ一覧表示画面９００に遷移する。品種入力欄９０１は、図４に示した製造物データ基準テーブル４１０の品種６０６によって、表示対象を絞り込むために、該当の品種を入力するためのテキストフィールドである。対象絞り込みチェックボックス９０２は、製造物データ基準テーブル４１０の判定結果６０３によって、表示対象を絞り込むためのチェックボックスである。対象絞り込みチェックボックス９０２では、ユーザは、良品判定のデータのみ表示、不良品判定のデータのみ表示、両者を表示の三つの中から選択して、ユーザが検査の目的に沿った製造物の画面データを表示することができる。図１３に示される表示例では、良品のみを表示する状態になっている。表示ソート順チェックボックス９０３は、表示順序を指定するためのチェックボックスである。本実施形態では、製造物データ基準テーブル４１０の判定基準値６０４が大きい順序、判定基準値６０４が小さい順序、および、登録順序の三つから選択可能である。これにより、ユーザは、判定基準値と画像とを対比して確認することができる。図１３に示される表示例では、判定基準値６０４が大きい順序が選択されて状態になっている。ページボタン９０４は、選択された順序でソートされた全体に対して、表示するページを指定するためのものである。
ユーザによって、品種入力欄９０１、対象絞り込みチェックボックス９０２、表示ソート順チェックボックス９０３のいずれかの指定が変更されると、その下の一覧表示される画像９０５が更新される。初期状態で表示されるのは、品種入力欄９０１、対象絞り込みチェックボックス９０２、表示ソート順チェックボックス９０３の指定に該当する先頭ページの画像である。したがって、ページ指定のページボタン９０４は、先頭の１番目のボタンが選択状態となる。一覧表示中の各画像９０５は、図４に示した製造物データ基準テーブル４１０の表示用画像６０７が、Ｗｅｂサーバ機能部１８０経由で配信されたものである。画像下の判定結果チェックボックス９０６は、画像９０５に対応する判定結果６０３がＮＧ、すなわち、不良品である場合、選択状態となる。図１３に示される表示例は、良品のみを表示対象とした表示となっているため、全て非選択の状態となっている。本画面のユーザは、表示画像中に不良と判定するべき画像を発見したら、その画像に対応するチェックボックスをクリックすることによって、選択状態にする。また、表示ページ中の全画像が、不良と判定するべき画像であったなら、全選択ボタン９０７をクリックすることによって、表示中の全ての画像９０５に対応するチェックボックスを選択状態に一括して切り替えることができる。また、選択状態となったチェックボックスをクリックすると、非選択の状態に切り替わる。本画面上で行った不良品の選択を製造物データ基準テーブル４１０に保存する際には、保存ボタン９０８をクリックする。保存ボタン９０８をクリックすると、製造物データ基準テーブル４１０の判定結果６０３の内容が更新され、画面９００上の一覧表示内容は、データベース上の更新が反映された表示に更新される。例えば、図１３に示される表示例で、全チェックボックスを選択状態にした上で、保存ボタン９０８をクリックした場合、クリック前に表示されているページの画像は、全て、不良品判定となるため、クリック後の表示では除外される。したがって、クリック前の時点では、次のページに表示されるべき画像の集合が、クリック後に、本画面に表示されることになる。
なお、一覧表示中のある画像９０５をクリックすると、図１４に示される個別データ表示画面に遷移する。また、メニューボタン９０９は、トップメニュー画面８００に戻るためのボタンである。
個別データ表示画面１０００は、図１４に示される形式で表示される。
品種情報表示欄１００１には、表示データの品種情報が表示される。製品ＩＤ入力欄１００２は、表示データの製品ＩＤを入力するためのテキストフィールドである。トップメニュー画面８００の個別データ表示ボタン８０２を選択することによって、本画面に遷移した場合は、ユーザは、所望の製品のＩＤを１００２に入力する。登録データ一覧表示画面９００中に表示された画像９０５をクリックして、本画面に遷移した場合、選択された画像の製品ＩＤが１００２に表示される。画像詳細表示１００３は、製造物データ基準テーブル４１０の画像データ６０１を拡大して表示する欄であり、その表示データは、Ｗｅｂサーバ機能部１８０経由で配信されたものである。判定結果チェックボックス１００４は、図１３に示した判定結果チェックボックス９０６と同様、対応する画像の判定結果６０３がＮＧである場合、選択状態となる。また、図１３に示した判定結果チェックボックス９０６と同様、ユーザは、選択・非選択の状態を切り替えることができる。類似検索ボタン１００５は、表示されている画像と類似した画像を特徴量ベクトル６０２に基づき検索するためのボタンである。類似検索ボタン１００５をクリックすると、図１５に示した類似検索結果表示画面１３００に遷移する。ユーザが、判定結果チェックボックス１００４の状態を切り替えた場合、保存ボタン１００６をクリックすることによって、製造物データ基準テーブル４１０の判定結果６０３の内容を変更することができる。また、メニューボタン１００７は、トップメニュー画面８００に戻るためのボタンである。
統計情報更新画面１１００は、図１２の統計情報更新ボタン８０３を選択した場合に表示される画面であり、図１５に示されるような形式を有する
品種入力欄１１０１は、統計情報更新の対象となる製品の品種を入力するテキストフィールドである。登録件数表示欄１１０２には、入力された品種の登録画像数が表示される。不良品件数表示欄１１０３には、その品種中で、不良品と判定されたデータの件数が表示される。良品モデルクラスタ数入力欄１１０４には、図６により説明した良品モデルを構成する処理Ｓ３０１におけるクラスタ数を指定する。不良品モデルクラスタ数入力欄１１０５には、同じく図６により説明した不良品モデルを構成する処理Ｓ３０４におけるクラスタ数を指定する。使用する不良品データ数入力欄１１０６には、同じく図６により説明した不良品モデルを構成する際に用いる良品モデルと近い不良品データの件数を指定する。重み入力欄１１０７には、（式４）のパラメータαの値を指定する。更新ボタン１１０８をクリックすると、指定された品種の統計情報が、指定された設定に基づいて更新される。更新処理が終了すると、トップメニュー画面８００に戻る。
品種入力欄１１０１は、統計情報更新の対象となる製品の品種を入力するテキストフィールドである。登録件数表示欄１１０２には、入力された品種の登録画像数が表示される。不良品件数表示欄１１０３には、その品種中で、不良品と判定されたデータの件数が表示される。良品モデルクラスタ数入力欄１１０４には、図６により説明した良品モデルを構成する処理Ｓ３０１におけるクラスタ数を指定する。不良品モデルクラスタ数入力欄１１０５には、同じく図６により説明した不良品モデルを構成する処理Ｓ３０４におけるクラスタ数を指定する。使用する不良品データ数入力欄１１０６には、同じく図６により説明した不良品モデルを構成する際に用いる良品モデルと近い不良品データの件数を指定する。重み入力欄１１０７には、（式４）のパラメータαの値を指定する。更新ボタン１１０８をクリックすると、指定された品種の統計情報が、指定された設定に基づいて更新される。更新処理が終了すると、トップメニュー画面８００に戻る。
不良品データ一括登録画面１２００は、図１２の不良品データ一括登録ボタン８０４を選択した場合に表示される不良品データ一括登録のための画面であり、図１６に示されるような形式を有する。本画面の機能は、図２に示した後工程で行われる目視検査等によって発見された不良品の情報を、一括で製造物データ基準テーブル４１０に反映させるための機能である。製品ＩＤリスト入力欄１２０１に、不良品と判定された製品ＩＤのリストが記載されたファイルを指定する。登録ボタン１２０２をクリックすると、指定されたファイルがＷｅｂサーバ機能部１８０に送付される。Ｗｅｂサーバ機能部１８０は、指定された製品ＩＤリスト上の各製品ＩＤに対応するデータについて、製造物データ基準テーブル４１０の判定結果６０３をＮＧの状態に変更する。本登録処理が終了すると、トップメニュー画面８００に戻る。
類似検索結果表示画面１３００は、図１４の類似検索ボタン１００５をクリックすると遷移する画面であり、図１７に示されるような形式を有する。クエリ画像１３０１に表示されているのは、個別データ表示画面１０００で選択された画像で、類似検索をおこなうためのクエリ画像である。
品種表示欄１３０２、対象絞り込みチェックボックス１３０３、ページボタン１３０４は、それぞれ図１３の品種入力欄９０１、対象絞り込みチェックボックス９０２、ページボタン９０４に対応する表示オブジェクトである。
品種表示欄１３０２には、クエリ画像の品種が表示される。品種表示欄１３０２の内容は、品種入力欄９０１と同様、検索対象を変更するために変更可能であるが、通常は、変更されることない。対象絞り込みチェックボックス１３０３は、対象絞り込みチェックボックス９０２と同様、図４の製造物データ基準テーブル４１０の判定結果６０３によって、検索対象を絞り込むためのチェックボックスであり、図１７に示された表示例では、ＯＫ、すなわち、良品判定となっている画像のみが対象として指定されている。また、ページボタン１３０４は、類似検索によって順位付けられた検索結果画像を表示するページを指定するためのものである。
この類似検索結果表示画面１３００上では、類似検索結果が類似性の高い順序で一覧表示される。一覧表示を構成する各画像１３０５をクリックすると、図１３の画像９０５の場合と同様、図１４の個別データ表示画面１０００に遷移する。画像の下に存在する判定結果チェックボックス１３０６には、図１３の判定結果チェックボックス９０６と同様、製造物データ基準テーブル４１０の判定結果６０３の状態が表示される。図１７に示される表示例は、良品判定の画像のみが検索対象であるから、全てのチェックボックスは、非選択の状態となっている。図１３の登録データ一覧表示画面９００の場合と同様、ユーザは、検索結果中に不良品と判定するべき画像を発見したら、対応するチェックボックスを選択状態に切り替えることができる。全選択ボタン１３０７は、図１３の全選択ボタン９０７と同様、全ての画像のチェックボックスを選択状態に一括して切り替えるためのボタンである。
ユーザが、本画面上で判定結果を変更した場合、保存ボタン１３０８で、その状態を製造物データ基準テーブル４１０に保存することができる。図１３の場合と同様、製造物データ基準テーブル４１０への保存処理が終了すると、同一条件の類似検索を再度実行し、類似検索結果表示画面１３００による検索結果が更新される。例えば、図１７に示される表示例で、全チェックボックスを選択状態にした上で、保存ボタン１３０８をクリックした場合、対象絞り込みチェックボックス１３０３により、良品をチェックしているために、不良品判定された画像を除外して類似検索が実行されるため、クリック前に表示されているページの後に続く類似検索結果が表示されることになる。なお、メニューボタン１３０９は、トップメニュー画面８００に戻るためのボタンである。
次に、本実施形態のシステムの実際の運用方法について説明する。
新たな品種の外観画像を本実施形態の製造物良・不良判定システムに投入する処理を一定期間運用した後、ユーザは、図１５に示される統計情報更新画面１１００を呼出して、統計情報更新処理を実施する。ここで、説明を単純化するために、良品モデルクラスタ数は、１、すなわち、品種ごとの平均ベクトルのみが良品統計量テーブルに管理されているものとする。
新たな品種の外観画像を本実施形態の製造物良・不良判定システムに投入する処理を一定期間運用した後、ユーザは、図１５に示される統計情報更新画面１１００を呼出して、統計情報更新処理を実施する。ここで、説明を単純化するために、良品モデルクラスタ数は、１、すなわち、品種ごとの平均ベクトルのみが良品統計量テーブルに管理されているものとする。
次に、図１３に示した登録データ一覧表示画面９００上で、その時点で良品と判定されているデータを、判定基準値６０４が大きい順序に表示する。平均ベクトルからの逸脱が大きいデータは、不良品と判定するべきデータである可能性が高い。判定基準値６０４が大きい順序にデータを提示することによって、不良品と判定すべきデータを効率的に発見することができる。また、一度、不良品と判定すべきデータを見つけたなら、図１７に示した類似検索結果表示画面１３００上で、そのデータをクエリとし、良品判定とされているデータを対象とする類似検索をおこなうことによって、同様の傾向を持つ不良品を効率的に発見することができる。
不良品情報の登録後、統計情報の更新を実施するか否かは、ユーザの判断となる。不良品を除外して統計量を算出した方が、当然ながら良品モデルとしては適切である。ただし、通常の製造工程では、大多数のデータは良品であり、不良品の頻度は小さい。したがって、単一の平均ベクトルのみで良品モデルを構成する場合、不良品データが、その平均ベクトルに与える寄与を無視できる可能性がある。
上述のような本システム内での不良品データの発見と並行して、図２の後工程における目視検索等に基づく不良品データ一括登録をおこなうことによって、不良品と確定したデータがある程度増大したなら、図１３に示した登録データ一覧表示画面９００上で、今度は、不良品データを、判定基準値６０４が小さい順序に表示する。これによって、良品との区別が困難な不良品データを効率的に閲覧し、その中のデータから良品判定データを対象とする類似検索をおこなうことによって、同様の傾向を持つ、良品との区別が困難な不良品データを効率的に発見することができる。
また、不良品判定データの数が十分な件数に達したなら、ユーザは、図１５に示した統計情報更新画面を呼び出し、統計情報更新処理を実施し、不良品モデルも含めた良・不良判定モデルを構成する。これによって、より適切な判定基準値６０４が算出される。本基準値を、後工程における目視検査へのデータの振り分け等に活用することによって、製造工程全体の効率的な運用が可能となる。
上記の例では、良品統計量テーブル２３０、２４０は、品種ごとに初期状態から更新される運用となっているが、同様の傾向を持つと想定される品種が既に存在する場合は、過去の品種の統計情報を初期状態として採用する運用も可能である。
〔実施形態２〕
以下、実施形態２を、図１８ないし図２３を用いて説明する。
本実施形態では、先ず、図１８を用いて良・不良判定モデルのアルゴリズムを説明し、後に、実施形態１と異なる所を中心に、データ構造、処理の詳細、ユーザインタフェース画面について説明する。
以下、実施形態２を、図１８ないし図２３を用いて説明する。
本実施形態では、先ず、図１８を用いて良・不良判定モデルのアルゴリズムを説明し、後に、実施形態１と異なる所を中心に、データ構造、処理の詳細、ユーザインタフェース画面について説明する。
図１８は、実施形態２の不良品モデルを構成についての概念を表す図である。
実施形態１では、品種ごとに、良品判定データの特徴量ベクトルに対するクラスタリングをおこない良品モデルを構成し、かつ、品種ごとに、クラスタリング処理により不良品モデルを構成した。
実施形態１では、品種ごとに、良品判定データの特徴量ベクトルに対するクラスタリングをおこない良品モデルを構成し、かつ、品種ごとに、クラスタリング処理により不良品モデルを構成した。
本実施形態での良品モデルは、品種ごとの良品判定データから算出される平均ベクトルによる良品判定データの特徴量ベクトルに対するクラスタリング処理は行わないことを前提とし、不良品モデルは、全品種間で共通として以下のアルゴリズムにより構成する。
本実施形態の不良品モデルは、各品種の平均ベクトルと各データの特徴量ベクトルの差として算出されるベクトルの集合に対して、ｋ−ｍｅａｎｓ法を適用することによって構成する。対象とする製品の品種数をＬ、ｉ番目の品種の良品データの標本数をｎｉ（ｉ＝１，…，Ｌ）、ｉ番目の品種のｊ番目の良品データの特徴量ベクトルをｘｉｊ（ｉ＝１，…，Ｌ、ｊ＝１，…，ｎｉ）とする。ｉ番目の品種の良品データの平均ベクトルμｉは、次の（式６)で定義される。
一方、ｉ番目の品種の不良品データの標本数をｍｉ（ｉ＝１，…，Ｌ）、ｉ番目の品種のｊ番目の不良品データの特徴量ベクトルをｙｉｊ（ｉ＝１，…，Ｌ、ｊ＝１，…，ｍｉ）で表記する。不良品モデルの構成にあたっては、次の（式７）に示すような、特徴量ベクトルと各品種の平均ベクトルの差として定義されるベクトルｚｉｊ（ｉ＝１，…，Ｌ、ｊ＝１，…，ｍｉ）を算出する。
次に、上記のｚｉｊに対して、品種の違いを区別することなく、ｋ−ｍｅａｎｓ法を適用する。これによって、クラスタ数をＫとすれば、Ｋ個の平均ベクトルθｉ（ｉ＝１，…，Ｋ）が導出される。本実施形態では、不良品モデルは、このＫ個の平均ベクトルθｉによって定義される。
この処理を図解すると、図１８に示されるようになる。
この処理を図解すると、図１８に示されるようになる。
品種ｉの特徴量ベクトルｆが与えられた時、本実施形態では、良・不良を判定するための基準となる数値ｄ（ｆ）を、以下の（式８）のように定義する。
ここで、βは、２項を合成する際の配分を定める非負のパラメータである。実施形態１の（式４）のパラメータαと同様に、ｄ（ｆ）が、小さい程、良品である可能性が高く、大きい程、不良品である可能性が高いと考えられる。また、ｇは、（式９）に示されるように、特徴量ベクトルｆから良品の特徴量ベクトルの平均ベクトルμｉを引いた差ベクトルである。
なお、実施形態１と同様に、良品との識別が困難な不良品を重視した処理を行いたい場合は、以下の（式１０）に示した（式７）のｚｉｊの２乗ノルム
を算出し、その値が小さい順序にソートした上で、上位一定個数のｚｉｊを取得し、ｋ−ｍｅａｎｓ法を適用する。
次に、図１９を用いて製造物良・不良判定装置が実行する良品モデル、不良品モデルを構成する処理について説明する。
本実施形態の良・不良判定モデルを構成する処理では、先ず、良品モデルとして、品種ごとの良品データの平均ベクトルを算出する（Ｓ１７０１、（式６））。次に、各不良品データの特徴量ベクトルと対応する品種の平均ベクトルとの差である差ベクトルを算出する（Ｓ１７０２、（式７））。次に、各不良品データの差ベクトルを、２乗ノルムが小さい順序にソートする（Ｓ１７０３、（式１０））。次に、パラメータとして指定された件数の不良品データを上位から選択することによって、不良品モデルを構成するための特徴量ベクトルの集合を構成する（Ｓ１７０４）。そして、その特徴量ベクトルの集合に対してｋ−ｍｅａｎｓ法を適用することによって、不良品に対する平均ベクトルの集合を導出し、これを不良品モデルとする（Ｓ１７０５）。
本実施形態の良・不良判定モデルを構成する処理では、先ず、良品モデルとして、品種ごとの良品データの平均ベクトルを算出する（Ｓ１７０１、（式６））。次に、各不良品データの特徴量ベクトルと対応する品種の平均ベクトルとの差である差ベクトルを算出する（Ｓ１７０２、（式７））。次に、各不良品データの差ベクトルを、２乗ノルムが小さい順序にソートする（Ｓ１７０３、（式１０））。次に、パラメータとして指定された件数の不良品データを上位から選択することによって、不良品モデルを構成するための特徴量ベクトルの集合を構成する（Ｓ１７０４）。そして、その特徴量ベクトルの集合に対してｋ−ｍｅａｎｓ法を適用することによって、不良品に対する平均ベクトルの集合を導出し、これを不良品モデルとする（Ｓ１７０５）。
次に、図２０を用いて製造物データにより判定基準値を求める処理について説明する。
本処理では、先ず、与えられデータの特徴量ベクトルｆとその品種の平均ベクトルμｉとの差ベクトルｇを算出する（Ｓ１８０１、（式９）に対応した記号を使用した）。この差ベクトルｇを用いて、（式８）に示した良・不良判定のための判定基準値（ｄ（ｆ））を算出する（Ｓ１８０２）。
本処理では、先ず、与えられデータの特徴量ベクトルｆとその品種の平均ベクトルμｉとの差ベクトルｇを算出する（Ｓ１８０１、（式９）に対応した記号を使用した）。この差ベクトルｇを用いて、（式８）に示した良・不良判定のための判定基準値（ｄ（ｆ））を算出する（Ｓ１８０２）。
実施形態１の場合と同様に、本基準値を用いて、不良品の可能性が高い順序、ないしは、低い順序で、データを確認することができる。また、適切な閾値を設定することにより、閾値以上は不良と判定するというような自動判定をおこなうこともできる。
本実施形態は、各品種の特徴量ベクトルの分布は、品種ごとに単峰性の分布となっていること、および、不良品における特徴量ベクトルの平均からの逸脱が、品種とは独立であることを仮定している。例えば、品種の違いが意匠的な差のみで、製造工程上は、同一の製造装置を経由したものであれば、製造装置に起因する良品からの逸脱の傾向は、品種の区別とは独立と考えられる。このような場合、特徴量ベクトルの構成方法が適切なものであれば、品種ごとの良品分布の単峰性、および、不良品分布の品種との独立性を仮定することができる。
また、一般に製造工程では、良品データの標本は大量に取得できるが、十分な数の不良品データの標本を取得することは困難な場合が多い。本実施形態の不良品モデルは、品種を区別することなく構成するため、品種別に不良品モデルを構成する場合よりも、不良品の標本の収集が容易である。
次に、図２１を用いて実施形態２の製造物データ基準テーブルについて説明する。
図２１は、実施形態２の製造物データ基準テーブルを示す図である。
実施形態２の製造物データ基準テーブル４１１は、実施形態１の実施形態２の製造物データ基準テーブルに加えて、差ベクトル１９０８が追加されたものである。
図２１は、実施形態２の製造物データ基準テーブルを示す図である。
実施形態２の製造物データ基準テーブル４１１は、実施形態１の実施形態２の製造物データ基準テーブルに加えて、差ベクトル１９０８が追加されたものである。
製造物データ基準テーブル４１１は、画像データ１９０１、特徴量ベクトル１９０２、判定結果１９０３。判定基準値１９０４、製造物ＩＤ１９０５、品種１９０６、表示用画像１９０７は、それぞれ、実施形態１の図４の製造物データ基準テーブル４１０の画像データ６０１、特徴量ベクトル６０２、判定結果６０３。判定基準値６０４、製造物ＩＤ６０５、品種６０６、表示用画像６０７と同様である。
差ベクトル１９０８は、特徴量ベクトル１９０２から、そのデータの品種の平均ベクトルを減算することによって算出されたベクトルである（（式９）のｇ）。特徴量ベクトル１９０２は、データ登録時に確定するが、差ベクトル１９０８は、品種の平均ベクトルの更新に伴い、更新される。
本実施形態の良品統計量テーブルは、実施形態１の図５に示したものと同一である。ただし、本実施形態は、各品種に対して単一のレコードしか格納されることはない（クラスタリングなし）。また、本実施形態の不良品統計量テーブルについては、品種７０２に相当する情報は不要なため、格納されない。したがって、不良品モデルを構成する平均ベクトルの集合のみが格納される。
次に、図２２を用いて本実施形態の統計情報更新画面について説明する。
本実施形態の統計情報更新画面２０００は、図２２に示されるように、実施形態１の図１５の統計情報更新画面１１００に相当する統計情報更新のための画面である。品種入力欄２００１〜不良件数表示欄２００３は、図１５の品種入力欄１１０１〜不良品件数表示欄１１０３の内容と同等である。本実施形態の統計情報更新画面２０００では、これらの情報に加えて、全ての品種にわたり、不良と判定されたデータの件数が、総不良件数表示欄２００４に表示される。統計情報更新のための入力パラメータについては、図１５の良品モデルクラスタ数入力欄１１０４に相当する表示オブジェクトが存在しない以外は、図１５の統計情報更新画面１１００と同様で、不良品モデルクラスタ数入力欄２００５〜重み入力欄２００７は、図１５の統計情報更新画面１１００の不良品モデルクラスタ数入力欄１１０５〜重み入力欄１１０７に対応する。ただし、重み入力欄は、（式８）のパラメータβを指定する。また、更新ボタン２００８をクリックした場合の画面遷移についても、図１５の統計情報更新画面１１００の更新ボタン１１０８に関する説明と同様である。
本実施形態の統計情報更新画面２０００は、図２２に示されるように、実施形態１の図１５の統計情報更新画面１１００に相当する統計情報更新のための画面である。品種入力欄２００１〜不良件数表示欄２００３は、図１５の品種入力欄１１０１〜不良品件数表示欄１１０３の内容と同等である。本実施形態の統計情報更新画面２０００では、これらの情報に加えて、全ての品種にわたり、不良と判定されたデータの件数が、総不良件数表示欄２００４に表示される。統計情報更新のための入力パラメータについては、図１５の良品モデルクラスタ数入力欄１１０４に相当する表示オブジェクトが存在しない以外は、図１５の統計情報更新画面１１００と同様で、不良品モデルクラスタ数入力欄２００５〜重み入力欄２００７は、図１５の統計情報更新画面１１００の不良品モデルクラスタ数入力欄１１０５〜重み入力欄１１０７に対応する。ただし、重み入力欄は、（式８）のパラメータβを指定する。また、更新ボタン２００８をクリックした場合の画面遷移についても、図１５の統計情報更新画面１１００の更新ボタン１１０８に関する説明と同様である。
次に、図２３を用いて実施形態２の統計情報更新処理を示すフローチャートである。
図２３に示した実施形態２の統計情報更新処理は、実施形態１の図１０のフローチャートにより示した統計情報更新処理に相当するものであり、図１５の統計情報更新画面２０００の更新ボタン２００８をクリックした場合に実行されるものである。
図２３に示した実施形態２の統計情報更新処理は、実施形態１の図１０のフローチャートにより示した統計情報更新処理に相当するものであり、図１５の統計情報更新画面２０００の更新ボタン２００８をクリックした場合に実行されるものである。
Ｗｅｂサーバ機能部１８０は、先ず、本処理に必要となるパラメータを取得する（Ｓ２１０１）。統計情報の更新対象となった品種に関して、良品判定となるデータが存在するか否かを確認し（Ｓ２１０２）、存在しない場合には（Ｓ２１０２：Ｎｏ）、処理を終了する。良品判定データが存在する場合には（Ｓ２１０２：Ｙｅｓ）、その品種の良品データを検索し（Ｓ２１０３）、検索によって得られた特徴量ベクトルから平均ベクトルを算出し、良品の統計情報として保存する（Ｓ２１０４）。
次に、算出された平均ベクトルを用いて、品種内の全データについて、差ベクトル１９０８の更新をおこなう（Ｓ２１０５、（式６））。
次に、品種内の不良品判定データが存在するか否かを確認する（Ｓ２１０６）。不良品判定データが存在しない場合には（Ｓ２１０６：Ｎｏ）、Ｓ２１１０に進み、品種内の全データについて、（式８）に従った良・不良判定のための判定基準値を算出し（判定基準値の考え方は、実施形態１と同様）、図２１の製造物データ基準テーブル４１１の判定基準値１９０４に保存する（Ｓ２１１０）。その時点で、不良品モデルが構成されていなければ、実施形態１の場合と同様、（式８）中の第１項のみで判定基準値が算出される。なお、実施形態１とは異なり、本実施形態では、当該品種の不良判定データが存在しなくても、他の品種において十分な件数の不良判定データが存在し、既に不良品モデルが構成されている場合もある。
次に、不良品判定データが存在する場合には（Ｓ２１０６：Ｙｅｓ）全品種における不良品判定データの件数が十分であるか否かを確認する（Ｓ２１０７）。本実施形態では、不良品判定データの総件数が使用する不良品データ数入力欄２００６で入力された件数を下回る場合には（Ｓ２１０７：Ｎｏ）、不良品モデルの構成を実施せず、の判定基準値の更新（Ｓ２１１０）に進む。不良判定データの総件数が十分な場合には（Ｓ２１０７：Ｙｅｓ）、不良品モデルの構成に進む。不良品モデルの構成では、先ず、全不良判定データについて、差ベクトル１９０８を取得する（Ｓ２１０８）。なお、当該品種の差ベクトルについては、本処理中で算出したものであるから、処理時間短縮のために、その算出結果を内部メモリにキャッシュしてもよい。取得された差ベクトルから、図１９のＳ１７０３〜Ｓ１７０５に対応する処理をおこなうことによって、不良品モデル（各々のクラスタの平均ベクトルは、θ１，…，閧j）を構成し、その結果を不良品の統計情報として保存し（Ｓ２１０９）、判定基準値の更新Ｓ２１１０に進む。
なお、Ｓ２１１０で更新されるのは、当該品種のデータのみである。不良品モデルの更新があった場合は、本来、全品種の判定基準値を更新してもよいが、本実施形態は、処理時間短縮のために、全品種に関する更新は行わない。
本実施形態の類似検索については、品種を指定した検索では、実施形態１と同様に、特徴量ベクトル１９０２に基づいたデータ間の類似性を用いる。一方、品種を限定しない検索では、差ベクトル１９０８に基づいたデータ間の類似性を採用する。本検索機能は、品種に依存しない、不良品の傾向を解析する際に有効である。
５…ネットワーク
４１…製造物
４２…外観画像データ
４３…良・不良判定情報
５０…クライアント端末
１００…製造物良・不良判定装置
１１０…製造物データ登録部
１２０…統計情報更新部
１３０…画像登録部
１４０…画像特徴量抽出部
１５０…判定結果登録部
１６０…モデル構成部
１６１…良品モデル構成部
１６２…不良品モデル構成部
１７０…判定基準値算出部
１８０…Ｗｅｂサーバ機能部
１８１…ＨＴＭＬ作成部
１８２…クライアントＩ／Ｆ部
２００…ＤＢアクセス部
２１０…データ入出力部
５１０…外観画像撮像装置
５２０…検査端末
３００…ＤＢ（DataBase）サーバ
４００…ＤＢ
４１０，４１１…製造物データ基準テーブル
４２０…良品統計テーブル
４３０…不良品統計テーブル
４４０…良・不良判定テーブル
２０１…画像ＩＤ
２０２…特徴量ベクトル
２０３…判定結果
６０１…画像データ
６０２…特徴量ベクトル
６０３…判定結果
６０４…判定基準値
６０５…製品ＩＤ
６０６…品種
６０７…表示用画像
７０１…平均ベクトル
７０２…品種
８００…トップメニュー画面
８０１…登録データ一覧表示ボタン
８０２…個別データ表示ボタン
８０３…統計情報更新ボタン
８０４…不良品データ一括登録ボタン
９００…登録データ一覧表示画面
９０１…品種入力欄
９０２…対象絞り込みチェックボックス
９０３…表示ソート順チェックボックス
９０４…ページボタン
９０５…画像
９０６…判定結果チェックボックス
９０７…全選択ボタン
９０８…保存ボタン
９０９…メニューボタン
１０００…個別データ表示画面
１００１…品種情報表示欄
１００２…製品ＩＤ入力欄
１００３…画像詳細表示
１００４…判定結果チェックボックス
１００５…類似検索ボタン
１００６…保存ボタン
１００７…メニューボタン
１１００…統計情報更新画面
１１０１…品種入力欄
１１０２…登録件数表示欄
１１０３…不良品件数表示欄
１１０４…良品モデルクラスタ数入力欄
１１０５…不良品モデルクラスタ数入力欄
１１０６…使用する不良品データ数入力欄
１１０７…重み入力欄
１１０８…更新ボタン
１２００…不良品データ一括登録画面
１２０１…製品ＩＤリスト入力欄
１２０２…登録ボタン
１３００…類似検索結果表示画面
１３０１…クエリ画像
１３０２…品種表示欄
１３０３…対象絞り込みチェックボックス
１３０４…ページボタン
１３０５…画像
１３０６…判定結果チェックボックス
１３０７…全選択ボタン
１３０８…保存ボタン
１３０９…メニューボタン
１９０１…画像データ
１９０２…特徴量ベクトル
１９０３…判定結果
１９０４…判定基準値
１９０５…製品ＩＤ
１９０６…品種
１９０７…表示用画像
１９０８…差ベクトル
２０００…統計情報更新画面
２００１…品種入力欄
２００２…登録件数表示欄
２００３…不良件数表示欄
２００４…総不良件数表示欄
２００５…不良品モデルクラスタ数入力欄
２００６…使用する不良品データ数入力欄
２００７…重み入力欄
２００８…更新ボタン
４１…製造物
４２…外観画像データ
４３…良・不良判定情報
５０…クライアント端末
１００…製造物良・不良判定装置
１１０…製造物データ登録部
１２０…統計情報更新部
１３０…画像登録部
１４０…画像特徴量抽出部
１５０…判定結果登録部
１６０…モデル構成部
１６１…良品モデル構成部
１６２…不良品モデル構成部
１７０…判定基準値算出部
１８０…Ｗｅｂサーバ機能部
１８１…ＨＴＭＬ作成部
１８２…クライアントＩ／Ｆ部
２００…ＤＢアクセス部
２１０…データ入出力部
５１０…外観画像撮像装置
５２０…検査端末
３００…ＤＢ（DataBase）サーバ
４００…ＤＢ
４１０，４１１…製造物データ基準テーブル
４２０…良品統計テーブル
４３０…不良品統計テーブル
４４０…良・不良判定テーブル
２０１…画像ＩＤ
２０２…特徴量ベクトル
２０３…判定結果
６０１…画像データ
６０２…特徴量ベクトル
６０３…判定結果
６０４…判定基準値
６０５…製品ＩＤ
６０６…品種
６０７…表示用画像
７０１…平均ベクトル
７０２…品種
８００…トップメニュー画面
８０１…登録データ一覧表示ボタン
８０２…個別データ表示ボタン
８０３…統計情報更新ボタン
８０４…不良品データ一括登録ボタン
９００…登録データ一覧表示画面
９０１…品種入力欄
９０２…対象絞り込みチェックボックス
９０３…表示ソート順チェックボックス
９０４…ページボタン
９０５…画像
９０６…判定結果チェックボックス
９０７…全選択ボタン
９０８…保存ボタン
９０９…メニューボタン
１０００…個別データ表示画面
１００１…品種情報表示欄
１００２…製品ＩＤ入力欄
１００３…画像詳細表示
１００４…判定結果チェックボックス
１００５…類似検索ボタン
１００６…保存ボタン
１００７…メニューボタン
１１００…統計情報更新画面
１１０１…品種入力欄
１１０２…登録件数表示欄
１１０３…不良品件数表示欄
１１０４…良品モデルクラスタ数入力欄
１１０５…不良品モデルクラスタ数入力欄
１１０６…使用する不良品データ数入力欄
１１０７…重み入力欄
１１０８…更新ボタン
１２００…不良品データ一括登録画面
１２０１…製品ＩＤリスト入力欄
１２０２…登録ボタン
１３００…類似検索結果表示画面
１３０１…クエリ画像
１３０２…品種表示欄
１３０３…対象絞り込みチェックボックス
１３０４…ページボタン
１３０５…画像
１３０６…判定結果チェックボックス
１３０７…全選択ボタン
１３０８…保存ボタン
１３０９…メニューボタン
１９０１…画像データ
１９０２…特徴量ベクトル
１９０３…判定結果
１９０４…判定基準値
１９０５…製品ＩＤ
１９０６…品種
１９０７…表示用画像
１９０８…差ベクトル
２０００…統計情報更新画面
２００１…品種入力欄
２００２…登録件数表示欄
２００３…不良件数表示欄
２００４…総不良件数表示欄
２００５…不良品モデルクラスタ数入力欄
２００６…使用する不良品データ数入力欄
２００７…重み入力欄
２００８…更新ボタン
Claims (2)
- 製造物の良・不良を判定するための製造物良・不良判定システムであって、
製造物に係る対象に対して、良・不良が付与された情報を入力する手段と、
製造物に係る対象の特徴量ベクトルを算出する手段とを有し、
良が付与された製造物に係る対象の特徴量ベクトルの品種ごとの集合に含まれる特徴量ベクトルから、各々の集合の平均ベクトルを求め、
不良が付与された製造物に係る対象の特徴量ベクトルと、良が付与された製造物に係る対象の特徴量ベクトルの品種ごとの集合に含まれる特徴量ベクトルから求められた各々の集合の平均ベクトルから、差ベクトルを求め、
求められた複数の差ベクトルを二乗ノルムが小さい順にソートして、一定数を前記二乗ノルムが小さい順の差ベクトルに対応する特徴量ベクトルを抽出し、
抽出された不良が付与された製造物に係る対象の特徴量ベクトルをクラスタリングして、各々のクラスタに含まれる特徴量ベクトルから、平均ベクトルを求め、そのクラスタから算出された平均ベクトルの集合を、不良品モデルを表す統計量として、不良品モデルを構成し、
製造物の対象の特徴量ベクトルに対して、その製造物の品種の良が付与された製造物に係る対象の集合の平均ベクトルとの差ベクトルを求め、
前記差ベクトルの二乗ノルムと、前記差ベクトルと不良が付与された製造物に係る対象の特徴量ベクトルから求められた平均ベクトルの差の二乗ノルムのクラスタにおける最小値から合成され、前記差ベクトルの二乗ノルムと前記差ベクトルと不良が付与された製造物に係る対象の特徴量ベクトルから求められた平均ベクトルの差の二乗ノルムのクラスタにおける最小値の評価の配分の割合を定めるパラメータを含む良・不良判定の評価指標から製造物の良・不良判定の判定基準値を算出することを特徴とする製造物良・不良判定システム。 - 製造物に係る対象は、製造物を撮像した画像であることを特徴とする請求項１記載の製造物良・不良判定システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017243815A JP6684777B2 (ja) | 2017-12-20 | 2017-12-20 | 製造物良・不良判定システムおよび製造物良・不良判定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017243815A JP6684777B2 (ja) | 2017-12-20 | 2017-12-20 | 製造物良・不良判定システムおよび製造物良・不良判定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019109834A JP2019109834A (ja) | 2019-07-04 |
| JP6684777B2 true JP6684777B2 (ja) | 2020-04-22 |
Family
ID=67179937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017243815A Active JP6684777B2 (ja) | 2017-12-20 | 2017-12-20 | 製造物良・不良判定システムおよび製造物良・不良判定方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6684777B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11521120B2 (en) * | 2018-09-12 | 2022-12-06 | Fanuc Corporation | Inspection apparatus and machine learning method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003216930A (ja) * | 2002-01-21 | 2003-07-31 | Matsushita Electric Works Ltd | 変色検査方法及び変色検査装置 |
| JP2004195080A (ja) * | 2002-12-20 | 2004-07-15 | Fuji Photo Film Co Ltd | 異常陰影検出装置 |
| JP2004198436A (ja) * | 2004-02-09 | 2004-07-15 | Hitachi Ltd | 欠陥検査方法及びその装置 |
| JP5152081B2 (ja) * | 2009-04-09 | 2013-02-27 | 株式会社デンソー | 外観検査装置 |
| JPWO2017017722A1 (ja) * | 2015-07-24 | 2018-05-24 | オリンパス株式会社 | 処理装置、処理方法及びプログラム |
-
2017
- 2017-12-20 JP JP2017243815A patent/JP6684777B2/ja active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11521120B2 (en) * | 2018-09-12 | 2022-12-06 | Fanuc Corporation | Inspection apparatus and machine learning method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019109834A (ja) | 2019-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11522769B1 (en) | Service monitoring interface with an aggregate key performance indicator of a service and aspect key performance indicators of aspects of the service | |
| US11853361B1 (en) | Performance monitoring using correlation search with triggering conditions | |
| US20170322985A1 (en) | Creating an entity definition from a search result set | |
| TWI223171B (en) | System for classifying files of non-textual subject data, method for categorizing files of non-textual data and method for identifying a class for data file at a classification node | |
| JP6101607B2 (ja) | データ分析支援システム | |
| CN101853299A (zh) | 一种基于感性认知的图像检索结果排序方法 | |
| JP4948607B2 (ja) | 画像検索装置、画像分類装置及び方法並びにプログラム | |
| WO2007125108A1 (en) | A method and system for controlling an industrial process including automatically displaying information generated in response to a query in an industrial installation | |
| JPWO2004097703A1 (ja) | 製造工程解析支援方法、その方法をコンピュータに実行させるプログラム、プログラムプロダクトおよび記録媒体 | |
| JP5337673B2 (ja) | 画像検索システム | |
| KR102543064B1 (ko) | Ｒｐａ 기반 제조환경 모니터링 서비스 제공 시스템 | |
| Brilakis et al. | Content-based search engines for construction image databases | |
| JP6684777B2 (ja) | 製造物良・不良判定システムおよび製造物良・不良判定方法 | |
| Brilakis et al. | Multimodal image retrieval from construction databases and model-based systems | |
| JPH11175552A (ja) | データベース検索装置及びデータベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2004185259A (ja) | 蓄積画像管理装置及びプログラム | |
| JP2020052674A (ja) | プロセス状態解析装置及びプロセス状態表示方法 | |
| US20210124751A1 (en) | Prescriptive Recommendation System and Method for Enhanced Speed and Efficiency in Rule Discovery from Data in Process Monitoring | |
| JP2010282402A (ja) | 検索システム | |
| CN117015812A (zh) | 用于对数据点进行聚类的系统 | |
| JP4351578B2 (ja) | 生産計画の支援システム及びコンピュータプログラム | |
| JPWO2009008129A1 (ja) | 開発書類データ管理装置、開発書類データ管理システム、開発書類データ管理方法及び、そのプログラム並びに記憶媒体 | |
| JP2006171931A (ja) | テキストマイニング装置およびテキストマイニングプログラム | |
| US8224838B2 (en) | Database search method, program, and apparatus | |
| JP7284301B2 (ja) | 情報収集システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200306 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200317 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200330 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6684777 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |