JP7457281B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来、製品の画像データを用いた検査を行うためのプログラムを生成する技術が知られている。例えば、特許文献１には、検査目的項目及び画像処理対象項目の項目ごとに、複数種類の画像処理サブルーチン候補のセットを用意して、検査目的項目および画像処理対象項目の少なくとも一方に応じて、画像処理サブルーチン候補のセットを選択し、画像処理プログラムに画像処理サブルーチンを組み込む技術が記載されている。

特開２００２－２５１６０３号公報

画像データを用いて製品を検査するためのプログラム（以下、「検査プログラム」と称する。）を設計するためには、画像処理に関する専門知識が必要となる。しかしながら、専門知識を持つ人材を確保することは難しい。このため、ユーザに専門的な知識がなくても検査プログラムを自動的に設計できる技術が求められている。

特許文献１に記載の技術では、画像処理プログラムには予め用意された画像処理サブルーチンが用いられる。従って、予め用意された画像処理サブルーチンの中に所望の処理が含まれない場合には、適切なプログラムを生成することができなかった。

そこで、本発明は、画像処理に関する専門的な知識がユーザになくても、適切な検査プログラムを生成することを可能とする情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

本発明の一態様に係る情報処理装置は、取得された検査基準をプログラム生成モデルに入力することにより、プログラム生成モデルに、検査対象物の画像データに関する要素処理をそれぞれ実行する複数の処理ユニットを組み合わせた、画像データに基づき検査対象物を検査するための検査プログラムを生成させる生成部と、を備える。

この態様によれば、予め構築されたプログラム生成モデルにより検査プログラムが生成される。このため、ユーザに画像処理に関する専門知識がなくても、適切な検査プログラムを自動的に生成することが可能になる。

上記態様において、プログラム生成モデルは、予め取得された検査プログラムが有する複数の処理ユニットのうちの少なくとも１つを調整することにより検査プログラムを生成してもよい。

この態様によれば、処理ユニットが調整されることにより新たな検査プログラムが生成されるため、より適切な検査プログラムを生成することが可能になる。

上記態様において、検査基準は、画像データに含まれるオブジェクト、オブジェクトの状態変数及び状態変数の状態値により規定されてもよい。

この態様によれば、検査基準が、検査プログラムを生成するうえで有用な情報により規定されているため、より適切な検査プログラムを生成することが可能になる。

上記態様において、取得部は、検査プログラムの制約条件をさらに取得し、生成部は、制約条件をプログラム生成モデルにさらに入力して、プログラム生成モデルに、制約条件を満たす検査プログラムを生成させてもよい。

この態様によれば、検査プログラムが制約条件を満たすようになるため、より適切な検査プログラムが生成されるようになる。

上記態様において、制約条件は、検査プログラムに含まれる処理ユニットの数の上限を含んでもよい。

この態様によれば、生成される検査プログラムの処理ユニットの数の上限が規定されるため、生成される検査プログラムの複雑化が抑制される。

上記態様において、制約条件は、検査プログラムによる検査にかかる時間の上限を含んでもよい。

この態様によれば、より短時間で検査できる検査プログラムを生成することが可能になる。

上記態様において、プログラム生成モデルは、所定の機械学習アルゴリズムに基づき構築されたモデルであってもよい。

この態様によれば、プログラム生成モデルが機械学習アルゴリズムに基づき構築されているため、より適切な検査プログラムを生成することが可能になる。

本発明の他の態様に係る情報処理方法は、プロセッサを備える情報処理装置による情報処理方法であって、プロセッサが、検査対象物の検査基準を取得することと、取得された検査基準をプログラム生成モデルに入力することにより、プログラム生成モデルに、検査対象物の画像データに関する要素処理をそれぞれ実行する複数の処理ユニットを組み合わせた、画像データに基づき検査対象物を検査するための検査プログラムを生成させることと、を含む。

この態様によれば、予め構築されたプログラム生成モデルにより検査プログラムが生成される。このため、ユーザに画像処理に関する専門知識がなくても、適切な検査プログラムを自動的に生成することが可能になる。

本発明の他の態様に係るプログラムは、コンピュータに、検査対象物の検査基準を取得することと、取得された検査基準をプログラム生成モデルに入力することにより、プログラム生成モデルに、検査対象物の画像データに関する要素処理をそれぞれ実行する複数の処理ユニットを組み合わせた、画像データに基づき検査対象物を検査するための検査プログラムを生成させることと、を実行させる。

この態様によれば、予め構築されたプログラム生成モデルにより検査プログラムが生成される。このため、ユーザに画像処理に関する専門知識がなくても、適切な検査プログラムを自動的に生成することが可能になる。

本発明によれば、画像処理に関する専門的な知識がユーザになくても、適切な検査プログラムを生成することを可能とする情報処理装置、情報処理方法及びプログラムを提供することができる。

第１実施形態に係る情報処理装置の構成例を示す機能ブロック図である。 同実施形態に係る処理ユニットの一例を示す図である。 同実施形態に係る情報処理装置による処理の一例を示すフローチャートである。 同実施形態において、取得部が取得する画像データを示す図である。 生成されることが期待される検査プログラムを示す図である。 ステップＳ１０５及びＳ１０７において抽出された第１画像データ及び対応する第１検査プログラムを示す図である。 ステップＳ１０５及びＳ１０７において抽出された第２画像データ及び対応する第２検査プログラムを示す図である。 ステップＳ１０５及びＳ１０７において抽出された第３画像データ及び対応する第３検査プログラムを示す図である。 生成された新たな検査プログラムを示す図である。 ステップＳ１１３の処理の流れを示すフローチャートである。 第２実施形態に係る学習装置の構成を示す機能ブロック図である。 Ｎ個のデータセットのそれぞれから抽出された入力特徴ベクトルがマッピングされた、ｎ次元の特徴空間を示す図である。 学習装置がプログラム生成モデルを構築する処理の流れを示すフローチャートである。 情報処理装置が、学習装置により構築されたプログラム生成モデルを用いて検査プログラムを生成する処理の流れを示すフローチャートである。 上記実施形態に係る情報処理装置及び学習装置のハードウェア構成の一例を示す図である。 条件分岐する処理ユニットを有する検査プログラムと、画像データと、を示す図である。

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

［第１実施形態］
図１は、第１実施形態に係る情報処理装置１０の構成例を示す機能ブロック図である。本実施形態に係る情報処理装置１０は、予め構築されたプログラム生成モデルを用いて、検査対象物を検査するための検査プログラムを生成する装置である。

生成された検査プログラムは、画像センサなどに組み込まれ、画像センサは取得した画像データと検査プログラムを用いることにより、製品を検査することができる。なお、画像センサは、一般物体認識を行う機能と、位置、寸法、汚れ、異物及び変形などに関する情報を有しているものとする。

図１に示すように、本実施形態に係る情報処理装置１０は、主として、入力部１００、記憶部１１０、制御部１２０及び出力部１３０を備える。

入力部１００は、ユーザの操作に応じて、操作に対応するデータ又は信号を生成する。入力部１００は、生成したデータ又は信号を制御部１２０に伝達する。入力部１００は、例えば、ユーザの操作に応じて、検査対象物の検査基準及び検査プログラムの制約条件などのデータを生成する。入力部１００は、検査基準及び制約条件を記号のデータとして生成してもよい。このとき、入力部１００は、当該記号を直接的に表す操作を受け付けて記号のデータを生成してもよいし、自然言語（テキスト）を入力する操作を受け付け、言語解析により記号のデータを生成しても良い。あるいは、入力部１００は、音声による入力を受け付け、音声認識により音声をテキストに変換したうえで記号のデータを生成してもよい。

ここで、検査対象物の検査基準とは、良品又は不良品である検査対象物の状態を規定する基準である。本実施形態では、検査基準は、画像データに含まれる「オブジェクト」、オブジェクトの「状態変数」及び状態変数の「状態値」により規定される。例えば、「オブジェクトＡの状態変数Ｘが状態値Ｘ１ならばＮＧ」や、「オブジェクトＢの状態変数Ｙが状態値Ｙ１ならばＮＧ」といった形式で記述される。なお、検査基準は、オブジェクトに対して１つである場合に限定されず、複数の検査基準が設定されていてもよい。

オブジェクトは、画像に映る検査対象物の一部である。オブジェクトは、例えば、ねじ穴、ケーブル、針、容器、リング、電極、切削面、賞味期限印字等である。また、状態変数は、例えば、幅、長さ、面積、大きさ、方向、数、色、形状、表面状態、日付等である。さらに、状態値は、当該状態変数の値であり、例えば、１００画素、平行、３０度、４個、赤、変形、バリあり、傷あり、汚れあり、曇りあり、１０月１７日等である。

検査プログラムの制約条件は、情報処理装置１０により生成される検査プログラムを制約する条件である。制約条件は、例えば、処理速度、検査正答率及び検査プログラムの長さ（複雑さ）などを規定する条件であってよい。具体的には、処理速度を規定する制約条件は、検査プログラムによる検査にかかる時間（以下、単に「検査時間」とも称する。）の上限（例えば、数秒）あってよい。また、検査正答率を規定する制約条件は、検査プログラムが検査対象物による検査の正答率が所定の値を超えることであってよい。さらに、検査プログラムの長さ（複雑さ）を規定する制約条件は、例えば、検査プログラムに含まれる処理ユニットの数の上限値であってよい。

記憶部１１０は、各種のデータを記憶している。記憶部１１０が記憶している各種のデータは、必要に応じて制御部１２０により参照される。記憶部１１０は、モデル格納部１１２、データセット格納部１１４、検査プログラム格納部１１６及び画像データ格納部１１８を備える。

モデル格納部１１２には、予め構築されたプログラム生成モデルが格納されている。プログラム生成モデルは、検査対象物の画像データに基づき、検査対象物を検査するための検査プログラムを生成するモデルである。また、検査プログラムは、複数の処理ユニットを組み合わせて構成されている。

プログラム生成モデルは、所定の機械学習アルゴリズムに基づき構築されたモデルであってよい。機械学習アルゴリズムは特に限定されないが、本実施形態では、プログラム生成モデルは、近傍法により構築されてモデルであるものとする。本実施形態に係るプログラム生成モデルは、データセット格納部１１４に格納されたデータセットから入力データと類似する複数のデータセットを抽出し、抽出したデータセットに対応する検査プログラムを合成することにより新たな検査プログラムを生成する。

ここで、処理ユニットは、画像データに関する要素処理を行うものであって、検査プログラムを構成する最小単位である。図２は、本実施形態に係る処理ユニットの一例を示す図である。図２には、処理ユニットの分類、処理ユニットの名称及び処理ユニットの内容が示されている。

「画像入力」に分類される処理ユニットは、検査を行う装置に、検査の対象となる画像データを入力する処理ユニットである。「前処理」に分類される処理ユニットは、画像データに各種の前処理を施す処理ユニットである。「計測」に分類される処理ユニットは、画像を認識することにより、オブジェクトを分類したり、オブジェクトの座標における位置及び姿勢を判断したりすることを目的とした処理ユニットである。「計測補助」に分類される処理ユニットは、例えば距離の算出など、各種の計測を補助する処理ユニットである。「表示」に分類される処理ユニットは、検査の結果を表示する処理ユニットである。また、「出力」に分類される処理ユニットは、判定（例えば、製品のＯＫ又はＮＧ）を出力する処理ユニットである。「分岐」に分類されている処理ユニットは、条件に応じて処理の内容を分岐する処理ユニットである。なお、処理ユニットは、図２に示される内容に限定されるものではない。

図１に戻って記憶部１１０の構成について説明する。データセット格納部１１４は、複数のデータセットを格納している。ここで、データセットは、検査対象物の画像データと、当該検査対象物を検査するための検査基準と、当該検査対象物を検査するための検査プログラムの制約条件とを対応付けたデータである。

検査プログラム格納部１１６は、複数の検査プログラムが格納されている。複数の検査プログラムのそれぞれは、データセット格納部１１４に格納されている複数のデータセットのいずれかに対応付けられている。

画像データ格納部１１８には、複数の画像データが格納されている。ユーザは、入力部１００の操作を行うことにより、画像データ格納部１１８から１つの画像データを選択することができる。選択された画像データは、プログラム生成モデルの入力データとして制御部１２０に伝達される。

制御部１２０は、プログラム生成モデルを用いて検査プログラムを生成するための各種の制御を行う。制御部１２０は、取得部１２２、生成部１２４、変更部１２６及び選択部１２８を備える。

取得部１２２は、各種のデータを取得する。具体的には、取得部１２２は、検査基準、制約条件及び画像データを取得する。より具体的には、取得部１２２は、ユーザによる操作により入力部１００において生成されたデータに基づき、検査基準及び制約条件を取得する。また、取得部１２２は、画像データ格納部１１８に格納されている画像データのうち、ユーザの操作により選択された画像データを取得する。取得部１２２は、取得した検査基準、制約条件及び画像データを生成部１２４に伝達する。

生成部１２４は、モデル格納部１１２に格納されているプログラム生成プログラムに各種のデータを入力することにより、プログラム生成モデルに検査プログラムを生成させる。本実施形態では、生成部１２４は、プログラム生成モデルに検査基準、制約条件及び画像データを入力することにより、プログラム生成モデルに検査プログラムを生成させる。なお、プログラム生成モデルに検査基準、制約条件及び画像データを入力することは、検査基準、制約条件及び画像データの加工又は抽出により得られるデータ（例えば特徴ベクトルなど）をプログラム生成モデルに入力することを含むものとする。生成された検査プログラムは、変更部１２６又は出力部１３０に伝達される。

変更部１２６は、生成された検査プログラムの条件を変更することができる。例えば、変更部１２６は、検査プログラムが制約条件を満たすように、生成された検査プログラムが有する処理ユニットの条件を変更する。ここで、変更される処理ユニットの条件は、処理ユニットの種類、モード（例えば、高速モード、高精度モードなど）又は設定パラメータなどであってよい。このとき、変更部１２６は、条件が変更された複数の検査プログラムを生成することもできる。生成された検査プログラムは、選択部１２８に伝達される。

選択部１２８は、変更部１２６により生成された複数の検査プログラムから１つの検査プログラムを選択する。例えば、選択部１２８は、変更部１２６により生成された複数の検査プログラムのうち、最も制約条件を満たす検査プログラムを選択することができる。選択された検査プログラムは、出力部１３０に伝達される。

出力部１３０は、各種の情報を出力する。出力部１３０は、例えば、生成された検査プログラムの内容を表示してもよい。

図３は、本実施形態に係る情報処理装置１０による処理の一例を示すフローチャートである。図３に示す処理は、例えば、ユーザによる操作に応じて、入力部１００が検査プログラムの生成を指示する信号を制御部１２０に伝達するときに開始される。

まず、取得部１２２は、ユーザの操作に応じて、検査基準、制約条件及び画像データを取得する（ステップＳ１０１）。図４は、本実施形態において、取得部１２２が取得する画像データ２００を示す図である。画像データ２００には、オブジェクトとして、円形の第１ねじ穴２０２及び第２ねじ穴２０４が含まれている。また、検査基準は、「２つのねじ穴間の距離ｄ１が１００ｍｍ±５％ならＯＫ」という基準である。また、制約条件は、検査時間が５０ｍｓ以内、検査プログラムの処理ユニットの数が５個以内、条件分岐の数が２個以内、という条件である。取得された検査基準、制約条件及び画像データは、生成部１２４に伝達される。また、制約条件は、変更部１２６にも伝達される。

図５は、生成されることが期待される検査プログラム３００を示す図である。検査プログラム３００は、画像入力ユニット３０２、円サーチユニット３０４、距離演算ユニット３０６及び判定出力ユニット３０８を順番に実行するプログラムである。ここで、円サーチユニット３０４は、第１ねじ穴２０２の中心位置と、第２ねじ穴２０４の中心位置を特定する処理ユニットである。また、円サーチユニット３０４のモードは、高速モードである。距離演算ユニット３０６は、円サーチユニット３０４により特定された２つの中心位置の間の距離ｄ１を算出する処理ユニットである。

次いで、生成部１２４は、プログラム生成モデルに、ステップＳ１０１において取得された検査基準、制約条件及び画像データを入力する（ステップＳ１０３）。

次いで、プログラム生成モデルにより、入力されたデータに基づき、データセット格納部１１４に格納されているデータセットから、データセットが抽出される（ステップＳ１０５）。ここでは、データセット格納部１１４から、入力された検査基準、制約条件及び画像データに対する総合類似度の高い３つのデータセットが抽出されるものとする。

ここで、総合類似度は、例えば、次の式（１）、（２）により定義される。式（１）、（２）に含まれるａ～ｆは、類似度に重みづけを行うパラメータである。
総合類似度＝ａ×（画像データの類似度）＋ｂ×（検査基準の類似度）＋ｃ×（制約条件の類似度）・・・（１）
検査基準の類似度＝ｄ×（オブジェクトの類似度）＋ｅ×（状態変数の類似度）＋ｆ×（状態値の類似度）・・・（２）

ここで、オブジェクトの類似度は、オブジェクトを表す語句の相関テーブルから求められてもよい。例えば、文言上は異なる語句（例えば、ディスク、穴及び円）であっても、検査プログラムのフローが類似している場合には相関が高いと判断され、オブジェクトの類似度が高くなる。また、状態変数の類似度は、状態変数の語句を表す相関テーブルから求められてもよい。

次いで、プログラム生成モデルにより、ステップＳ１０５において抽出された３つのデータセットのそれぞれに対応する３つの検査プログラムが、検査プログラム格納部１１６から抽出される（ステップＳ１０７）。

図６から図８は、ステップＳ１０５及びＳ１０７において抽出された３つのデータセットのうちの画像データと対応する検査プログラムを示す図である。

図６は、ステップＳ１０５及びＳ１０７において抽出された第１画像データ２１０及び対応する第１検査プログラム３１０を示す図である。第１画像データ２１０は、オブジェクトである矩形状の第１矩形マーク２１２及び第２矩形マーク２１４を含む。第１画像データ２１０に対応する検査基準は、「２つの矩形マークのＸ軸方向の距離ｄ２が９０ｍｍ±５％であればＯＫ」という条件である。さらに、第１画像データ２１０に対応する制約条件は、検査時間が１００ｍｓ以内であり、検査プログラムの処理ユニットの数が１０個以内であり、条件分岐がなし、という条件である。

また、第１検査プログラム３１０は、画像入力ユニット３１２、図形サーチユニット３１４、距離演算ユニット３１６及び判定出力ユニット３１８を含み、これらの処理ユニットを順番に実行するプログラムである。図形サーチユニット３１４は、高速モードで、２つの矩形マークの中心位置を特定する処理ユニットである。また、距離演算ユニット３１６は、図形サーチユニット３１４により特定された２つの中心位置の間におけるＸ軸方向の距離ｄ２を算出する処理ユニットである。

図７は、ステップＳ１０５及びＳ１０７において抽出された第２画像データ２２０及び対応する第２検査プログラム３２０を示す図である。第２画像データ２２０は、オブジェクトである円状のディスク２２２が含まれる。第２画像データ２２０に対応する検査基準は、「ディスクの中心が画像の中央から±１％に位置していればＯＫ」という基準である。また、制約条件は、検査時間が５００ｍｓ以内であり、検査プログラムの処理ユニットの数が５個以内であり、条件分岐の数が５個以内、という条件である。

第２検査プログラム３２０は、画像入力ユニット３２２、円サーチユニット３２４及び判定出力ユニット３２６を順番に実行するプログラムである。ここで、円サーチユニット３２４は、高精度モードで、ディスクの中心位置を特定する処理ユニットである。

図８は、ステップＳ１０５及びＳ１０７において抽出された第３画像データ２３０及び対応する第３検査プログラム３３０を示す図である。第３画像データ２３０は、一様な幅を有するテープ２３２を含む。第３画像データ２３０に対応する検査基準は、テープの幅が１０ｍｍ±３％であればＯＫ」という基準である。また、第３画像データ２３０に対応する制約条件は、検査時間が２００ｍｓ以内であり、検査プログラムの処理ユニットの数が１０個以内であり、条件分岐がない、という条件である。

第３検査プログラム３３０は、画像入力ユニット３３２、エッジユニット３３４、距離演算ユニット３３６及び判定出力ユニット３３８を順番に実行するプログラムである。ここで、エッジユニット３３４は、テープのエッジを検出する処理ユニットである。また、距離演算ユニットは、エッジユニット３３４により検出されたエッジに基づき、テープの幅の長さを算出する処理ユニットである。

図３に戻って、ステップＳ１０７の処理が終了すると、プログラム生成モデルにより、入力された検査基準を規定する状態変数と最も類似度が高い状態変数を有する検査基準に対応する検査プログラムが抽出される（ステップＳ１０９）。プログラム生成モデルに入力された検査基準の状態変数は、２点間の距離（距離ｄ１）である。第３検査プログラム３３０に対応する検査基準は２点間の距離（テープの幅）であり、入力された検査基準の状態変数と第３検査プログラムに対応する検査基準の状態変数が類似している。このため、第３検査プログラム３３０が抽出される。本実施形態では、ここで抽出された第３検査プログラム３３０が基準の検査プログラムとなる。

次いで、プログラム生成モデルにより、ステップＳ１０９において抽出された検査プログラムが有する処理ユニットの条件が調整されることで、新たな検査プログラムが生成される（ステップＳ１１１）。具体的には、まず、抽出された３つの検査プログラムのうち、検査基準のオブジェクトと最も類似しているオブジェクトで規定された検査基準に対応する検査プログラムが選択される。

ここでは、入力された検査基準のオブジェクトはねじ穴であり、第２検査プログラムに対応する検査基準のオブジェクトは円形のディスクである。当該検査基準のオブジェクトが、３つの検査基準のオブジェクトの中で、最も入力された検査基準のオブジェクトに類似している。このため、第２検査プログラム３２０が選択される。プログラム生成モデルにより、基準の第３検査プログラム３３０が有するエッジユニット３３４が、第２検査プログラム３２０の円サーチユニット３２４に置換される。これにより、新たな検査モデルが生成される。

図９は、生成された新たな検査プログラム３４０を示す図である。新たな検査プログラム３４０は、画像入力ユニット３４２、円サーチユニット３４４、距離演算ユニット３４６及び判定出力ユニット３４８を順番に実行するプログラムである。本実施形態では、生成された新たな検査プログラム３４０は、変更部１２６に伝達される。

新たな検査モデルが生成されると、制御部１２０が、制約条件に基づく処理を行う（ステップＳ１１３）。図１０は、ステップＳ１１３の処理の流れを示すフローチャートである。

まず、変更部１２６は、ステップＳ１１１において生成された検査プログラムが、ステップステップＳ１０１において取得された制約条件を満たすか否かを判定する（ステップＳ２０１）。生成された検査プログラムが制約条件を満たすと判定されると（ステップＳ２０１：ＹＥＳ）、図１０に示す処理は終了し、生成された検査プログラムが出力部１３０に伝達される。一方、生成された検査プログラムが制約条件を満たさないと判定されると（ステップＳ２０１：ＮＯ）、ステップＳ２０３に進む。

ステップＳ２０１においてＮＯと判定されると、変更部１２６は、検査プログラムが有する処理ユニットの条件を変更する（ステップＳ２０３）。例えば、生成された検査プログラムの検査時間が制約条件（５０ｍｓ以内）を満たさない場合には、変更部１２６は、例えば、円サーチユニット３４４のモードを高精度モードから高速モードに変更する。これにより、検査プログラム３４０の検査時間が短縮される。このとき、変更部１２６は、処理ユニットの条件を変更して、複数の検査プログラムを生成してもよい。

次いで、変更部１２６は、ステップＳ２０３において条件が変更された検査プログラムが、制約条件を満たすか否かを判定する（ステップＳ２０５）。制約条件が満たされると判定された場合には（ステップＳ２０５：ＹＥＳ）、図１０に示す処理は終了する。このとき、制約条件を満たす検査プログラムは、出力部１３０に伝達される。一方、制約条件が満たされないと判定された場合（ステップＳ２０５：ＮＯ）、ステップＳ２０７に進む。このとき、ステップＳ２０３において条件が変更された検査プログラムが選択部１２８に伝達される。

ステップＳ２０５においてＮＯと判定されると、選択部１２８は、パラメータが変更された検査プログラムのうち、最も制約条件を満たす検査プログラムを選択する（ステップＳ２０７）。このとき、選択部１２８は、条件が変更された処理ユニットを有する検査プログラムのうち、最も制約条件を満たす検査プログラムと、当該検査プログラムが満たさない制約条件を出力部１３０に伝達する。

次いで、出力部１３０は、ステップＳ２０７において選択された検査プログラムと、当該検査プログラムが満たさない制約条件を表示する（ステップＳ２０９）。これにより、ユーザは、生成された検査プログラムが満たさない制約条件を確認することができる。

ステップＳ２０９の処理が終了すると、図１０に示す処理が終了し、図３に示すステップＳ１１３の処理が終了する。ステップＳ１１３の処理が終了すると、出力部１３０は、制約条件を満たす検査プログラムを表示する（ステップＳ１１５）。このとき、出力部１３０は、ステップＳ１０９において抽出された第３検査プログラムを表示してもよい。これにより、ユーザは、プログラム生成モデルによる検査プログラムの生成の根拠を確認することができる。

以上、第１実施形態に係る情報処理装置１０の処理について説明した。本実施形態によれば、予め構築されたプログラム生成モデルに検査基準、制約条件及び画像データを入力することにより、新たな検査プログラムが生成される。このため、ユーザは、画像処理に関する専門知識を有していなくとも、ユーザのアプリケーションに適応する、適切な検査プログラムを獲得することができる。また、本実施形態に係る情報処理装置１０によれば、大量のデータを準備しなくとも、好適な検査プログラムを生成することが可能になる。

また、検査プログラムを生成する方法として、問題設定（評価関数及び画像データ）を用いて処理ユニットの配置及び組み合わせの最適解を探索する方法が考えられる。この場合、全探索する方法と、近似解を求める方法がある。例えば、ＧＡ（遺伝的アルゴリズム）あるいはＮＮを用いる方法がある。しかしながら、全探索する方法では、コンピュータの処理に時間がかかり、当該方法は現場で用いることが難しい。一方、近似解を求める方法では、解が適切に求まる場合もあれば、求まらない場合もある。本実施形態に係る情報処理装置１０によれば、長い時間をかけなくとも、適切な検査プログラムをより確実に生成することが可能になる。

また、本実施形態では、制約条件を満たす検査プログラムが生成される。このため、ユーザは、より適切な検査プログラムを獲得することができる。

［第２実施形態］
第２実施形態では第１実施形態と共通の事柄についての記述を省略し、異なる点についてのみ説明する。

第１実施形態ではプログラム生成モデルが近傍法に基づくモデルであるが、第２実施形態ではプログラム生成モデルが決定木に基づくモデルである。決定木による学習方法の一例は、下記の文献１に記載されている。
（文献１）菅原 康滉・三浦 勇気・栗林 倫・沼倉 彬雄・加藤 成将・佐藤 和幸・冨澤 武弥・三好 扶・明石 卓也・金 天海（２０１７）、力学系学習木における適応的ノード選択、情報処理学会第７９回全国大会

第２実施形態では、図１１に示す構成を有する学習装置４０によりプログラム生成モデルが構築される。図１１に示すように、第２実施形態に係る学習装置４０は、入力部４００、記憶部４１０及び制御部４２０を備える。

入力部４００は、ユーザの操作に応じて、操作に応じたデータ又は信号を生成する。入力部４００は、例えば、ユーザの操作に応じて、プログラム生成モデルの構築を指示する信号を制御部４２０に伝達する。

記憶部４１０は、各種のデータを記憶している。記憶部４１０は、データセット格納部４１２及び検査プログラム格納部４１４を備える。

データセット格納部４１２は、複数のデータセットを格納している。ここで、データセットは、検査対象物の画像データと、当該検査対象物を検査するための検査基準と、当該検査対象物を検査するための検査プログラムの制約条件とを対応付けたデータである。

検査プログラム格納部４１４は、複数の検査プログラムが格納されている。複数の検査プログラムのそれぞれは、データセット格納部４１２に格納されている複数のデータセットのいずれかに対応付けられている。

制御部４２０は、プログラム生成モデルを構築するための各種の制御を行う。制御部４２０は、抽出部４２２及び学習部４２４を備える。

抽出部４２２は、各種のデータから特徴ベクトルを抽出する。例えば、抽出部４２２は、データセット格納部４１２に格納されているＮ（Ｎ：自然数）個のデータセット（すなわち、検査基準、制約条件及び画像データ）のそれぞれから、ｎ（ｎ：自然数）次元の入力特徴ベクトルを抽出する。さらに、抽出部４２２は、検査プログラム格納部４１４に格納されている、Ｎ個のデータセットのそれぞれに対応付けられた検査プログラムのそれぞれからｍ（ｍ：自然数）次元の出力特徴ベクトルを抽出することもできる。抽出部４２２は、抽出した特徴ベクトルを学習部４２４に伝達する。

学習部４２４は、決定木を学習する。具体的な決定木の学習方法は、例えば、ＤＬＴ（力学系決定木）を用いた方法であってよい（上述の文献１を参照）。本実施形態では、学習部４２４は、抽出されたＮ個の特徴ベクトルの分布に応じて、入力特徴ベクトルがマッピングされる特徴空間を仕分ける判別境界を形成する。

図１２は、Ｎ個のデータセットのそれぞれから抽出された入力特徴ベクトルがマッピングされた、ｎ次元の特徴空間５００を示す図である。特徴空間５００には、Ｎ個の入力特徴ベクトル５１０がマッピングされている。特徴空間５００は、判別境界５２０により分割され、複数の部分空間５３０により構成されている。

学習部４２４は、特徴空間５００を構成する部分空間５３０のそれぞれに代表値を割り当てることができる。代表値は、例えば、部分空間５３０に対応する出力特徴ベクトルの平均値であってよい。当該平均値を変換することで、検査プログラムを生成することが可能である。このようにして、学習部４２４は、入力特徴ベクトルを入力として、特徴空間５００における対応する部分空間を特定し、特定された部分空間に対応する出力特徴ベクトルを変換することで検査プログラムを生成するプログラム生成モデルを構築することができる。

構築されたプログラム生成モデルは、学習装置４０が備える通信部（図１１には図示しない。）により、図１を参照して説明した情報処理装置１０に送信され、記憶部１１０のモデル格納部１１２に格納されてよい。

図１３は、学習装置４０がプログラム生成モデルを構築する処理の流れを示すフローチャートである。

まず、抽出部４２２は、データセット格納部４１２に格納されているＮ個のデータセットのそれぞれからｎ次元の入力特徴ベクトルを抽出する（ステップＳ３０１）。

次いで、抽出部４２２は、ステップＳ３０１において入力特徴ベクトルが抽出されたＮ個のデータセットのそれぞれに対応する検査プログラムから、出力特徴ベクトルを抽出する（ステップＳ３０３）。

次いで、学習部４２４は、ステップＳ３０１及びＳ３０３において抽出された特徴ベクトルに基づき、特徴空間を仕分ける（ステップＳ３０５）。これにより、図１２を参照して説明した、複数の部分空間により構成される特徴空間が構築される。

次いで、学習部４２４は、ステップＳ３０５において形成された複数の部分空間のそれぞれに代表値を割り当てる（ステップＳ３０７）。これにより、プログラム生成モデルが構築される。代表値が割り当てられると、図１３に示す処理は終了する。

図１４は、情報処理装置１０が、学習装置４０により構築されたプログラム生成モデルを用いて検査プログラムを生成する処理の流れを示すフローチャートである。

まず、取得部１２２は、ユーザの操作に応じて、検査基準、制約条件及び画像データを取得する（ステップＳ４０１）。ここで、ステップＳ４０１の処理は、図３のステップＳ１０１の処理と実質的に同一である。

次いで、生成部１２４は、ステップＳ４０１において取得された検査基準、制約条件及び画像データから入力特徴ベクトルを抽出する（ステップＳ４０３）。

次いで、生成部１２４は、学習装置４０により構築されたプログラム生成モデルに、ステップＳ４０３において抽出した入力特徴ベクトルを入力する（ステップＳ４０５）。

プログラム生成モデルにより、特徴空間における入力特徴ベクトルに対応する部分空間が特定される（ステップＳ４０７）。

次いで、プログラム生成モデルにより、特定された部分空間に対応する代表値に基づき、検査プログラムが生成される（ステップＳ４０９）。

次いで、ステップＳ４１１及びＳ４１３の処理が行われるが、ステップＳ４１１及びＳ４１３の処理は、図３のステップＳ１１３及びＳ１１５の処理と実質的に同一であるため、ここでは説明を省略する。

以上、第２実施形態について説明した。

［ハードウェア構成］
図１５は、上記実施形態に係る情報処理装置１０及び学習装置４０（以下、これらの装置をまとめて「情報処理装置等」とも称する。）のハードウェア構成の一例を示す図である。情報処理装置等は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部１１０に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部１１０に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では情報処理装置１０が一台のコンピュータで構成される場合について説明するが、情報処理装置１０は、複数のコンピュータが組み合わされて実現されてもよい。また、図３で示す構成は一例であり、情報処理装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。ここで、演算部は、制御部１２０、４２０を含む。

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う。ＣＰＵ１０ａは、プログラム生成モデルを用いて検査プログラムを生成するプログラムを実行する演算部であり得る。また、ＣＰＵ１０ａは、プログラム生成モデルを生成するプログラムを実行する演算部であり得る。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、プログラム生成モデル、画像データ、検査基準及び制約条件といったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えばプログラムや、書き換えが行われないデータを記憶してよい。

通信部１０ｄは、情報処理装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークに接続されてよい。

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、マウス、キーボード、マイク及びタッチパネルを含んでよい。

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、生成された検査プログラムの内容を表示してよい。

プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。情報処理装置等では、ＣＰＵ１０ａがプログラムを実行することにより、図１又は図１１を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、情報処理装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

[その他の実施形態]
（ＮＮによるプログラム生成モデルの構築）
上記実施形態では、主に、プログラム生成モデルが、近傍法又は決定木により構築されるものとして説明した。これに限らず、プログラム生成モデルは、例えばＮＮ（ニューラルネットワーク）を用いて構築されてもよい。ここで、データセットは問題設定（画像データ及びアノテーション）などの学習データであり、検査プログラムは教師データであるものとする。例えば、ＮＮに学習データを入力し、教師データに基づきＮＮの出力の誤差を修正するようにＮＮのパラメータを学習することで、プログラム生成モデルを構築してもよい。ＮＮは、例えば、ＣＮＮ（畳み込みニューラルネットワーク）であってよい。

（条件分岐する検査プログラム）
上記実施形態では、主に、条件分岐する処理ユニットを有しない検査プログラムを用いて説明した。これに限らず、検査プログラムは、条件分岐する処理ユニットを有していてもよい。

図１６は、条件分岐する処理ユニットを有する検査プログラム３５０と、画像データ２５０と、を示す図である。画像データ２５０に対応する検査基準は、「楕円の長径が１００ｍｍ±５％であればＯＫ」という基準である。また、対応する制約条件は、検査時間が５０ｍｓ以内、検査プログラムの処理ユニットの数が１０個以内、条件分岐の数が３個以内、という条件である。また、検査プログラム３５０は、生成されることが期待される検査プログラムである。

画像データ２５０には、楕円状のオブジェクト２５２が含まれている。また、検査プログラム３５０は、オブジェクト２５２の長軸の長さを計測するための検査プログラムである。オブジェクト２５２の長径を計測する方法として、複数（例えば１０）の互いに向きが異なる仮想線（図１６には、２本の仮想線２５４及び２５６を例示している。）におけるオブジェクト２５２のエッジ間隔を計測し、計測した１０の間隔の最大値を長径として求める方法が考えられる。

この場合には、図１６に示す条件分岐する処理ユニット（条件分岐ユニット３５５）を設けることにより、検査プログラムの処理ユニットの数を低減することが可能になる。図１６に示す検査プログラム３５０では、オブジェクト２５２のエッジ位置がエッジユニット３５３により１０回特定されると、演算ユニット３５６による処理が行われる。演算ユニット３５６は、１０の間隔の最大値をオブジェクト２５２の長径として算出する。図１６に示す検査プログラム３５０では、条件分岐の数が１回（エッジユニット３５３の直前における合流を考慮すると２回ともいえる。）、処理ユニットの数が５個である。このため、検査プログラム３５０は、制約条件を満たしている。

（第１実施形態の変形例）
第１実施形態では、図３を参照して説明したステップＳ１０５において、主として、プログラム生成モデルに検査基準、制約条件及び画像データの類似度に応じてデータセットが抽出されるものとして説明した。これに限らず、第２実施形態のように検査基準、制約条件及び画像データから特徴ベクトルが抽出され、特徴ベクトルの類似度に基づきデータセットが抽出されてもよい。

また、検査プログラムの合成方法は、図３を参照して説明したステップＳ１１１の処理に限定されるものではない。例えば、第２実施形態のように、ステップＳ１０５において抽出されたデータセットから特徴ベクトルを抽出し、特徴ベクトルの平均値を変換することにより検査プログラムが生成されてもよい。

（検査の変形例）
上記実施形態では、主に、生成される検査プログラムは、検査対象物に含まれるもの（マーク又はねじ穴など）の寸法又は位置などを検査するものとして説明した。これに限らず、生成される検査プログラムは、検査対象物の欠陥検査又は文字照合などを行うプログラムであってもよい。欠陥検査とは、製品（検査対象物）の表面にキズ又は打痕などの欠陥があるか否かを検査することである。また、文字照合とは、日付又はロット番号などの印字がされた製品に対して、正しい位置に正しい印字がされているか否かを検査することである。ここで、正しい印字とは、期待される文字列と一致する印字である。

（プログラム生成モデルへの入力）
上記実施形態では、主として、プログラム生成モデルに検査基準、制約条件及び画像データが入力されるものとして説明した。これに限らず、プログラム生成モデルには画像データが入力されず、プログラム生成モデルの入力を検査基準及び制約条件としてもよい。さらに、プログラム生成モデルの入力には、画像データ及び制約条件が含まれず、プログラム生成モデルの入力を検査基準のみとしてもよい。

（情報処理装置及び学習装置の配置）
上記実施形態では、学習装置４０及び情報処理装置１０により、機械学習によりプログラム生成モデルを構築する機能及び、構築されたプログラム生成モデルに基づき検査プログラムを生成（推論）する機能等が実現されるものとして説明したが、これに限定されない。これらの機能、すなわち、情報処理装置１０が備える記憶部１１０、制御部１２０、学習装置４０が備える制御部４２０及び記憶部４１０などが、情報処理装置１０単体又は学習装置４０単体により備えられていてもよい。

また、情報処理装置１０及び学習装置４０が配置される場所は特に限定されない。例えば、学習装置４０は、サービス提供者が運用するクラウド上に実装されてもよい。ユーザは、情報処理装置１０を用いて、学習装置４０による機械学習に基づき構築されたプログラム生成モデルを、学習装置４０からダウンロードして用いることができる。

また、機械学習によりプログラム生成モデルが構築されるタイミングも特に限定されない。ここで、学習装置が、機械学習によりプログラム生成モデルを構築する機能及び検査プログラムを生成する機能を有し、クラウド上に実装されている場合の運用について説明する。この場合には、ユーザは、例えば自己が所有する情報通信端末を用いて、検査基準等を学習装置に送信して、学習装置に検査プログラムを生成させ、生成された検査プログラムを情報通信端末で受信することにより取得することができる。このとき、学習装置は、このようにしてユーザの情報処理端末から送信された検査基準等及び生成した検査プログラムを学習データとして、機械学習により新たにプログラム生成モデルを構築することができる。

［補足］
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素及びその配置、材料、条件、形状、サイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

［附記］
検査対象物の検査基準を取得する取得部（１２２）と、
取得された検査基準をプログラム生成モデルに入力することにより、前記プログラム生成モデルに、前記検査対象物の画像データに関する要素処理をそれぞれ実行する複数の処理ユニットを組み合わせた、前記画像データに基づき前記検査対象物を検査するための検査プログラムを生成させる生成部（１２４）と、
を備える、情報処理装置（１０）。

１０…情報処理装置、１００…入力部、１００…入力部、１１０…記憶部、１１２…モデル格納部、１１４…データセット格納部、１１６…検査プログラム格納部、１１８…画像データ格納部、１２０…制御部、１２２…取得部、１２４…生成部、１２６…変更部、１２８…選択部、１３０…出力部、２００…画像データ、３００…検査プログラム、３０２…画像入力ユニット、３０４…円サーチユニット、３０６…距離演算ユニット、３０８…判定出力ユニット、４０…学習装置、４００…入力部、４１０…記憶部、４１２…データセット格納部、４１４…検査プログラム格納部、４２０…制御部、４２２…抽出部、４２４…学習部

Claims (9)

1. 検査対象物の一部であるオブジェクトの状態を規定する検査基準を取得する取得部と、
   取得された検査基準をプログラム生成モデルに入力することにより、前記プログラム生成モデルに、前記検査対象物の画像データに関する要素処理をそれぞれ実行する複数の処理ユニットを組み合わせた、前記画像データに基づき前記検査対象物を検査するための検査プログラムを生成させる生成部と、
   を備える、情報処理装置。
2. 前記プログラム生成モデルは、予め取得された検査プログラムが有する複数の処理ユニットのうちの少なくとも１つを調整することにより検査プログラムを生成する、
   請求項１に記載の情報処理装置。
3. 前記検査基準は、前記画像データに含まれるオブジェクト、前記オブジェクトの状態変数及び前記状態変数の状態値により規定される、
   請求項１又は２に記載の情報処理装置。
4. 前記取得部は、検査プログラムの制約条件をさらに取得し、
   前記生成部は、前記制約条件を前記プログラム生成モデルにさらに入力して、前記プログラム生成モデルに、前記制約条件を満たす検査プログラムを生成させる、
   請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記制約条件は、前記検査プログラムに含まれる前記処理ユニットの数の上限を含む、
   請求項４に記載の情報処理装置。
6. 前記制約条件は、前記検査プログラムによる検査にかかる時間の上限を含む、
   請求項４又は５に記載の情報処理装置。
7. 前記プログラム生成モデルは、所定の機械学習アルゴリズムに基づき構築されたモデルである、
   請求項１から６のいずれか１項に記載の情報処理装置。
8. プロセッサを備える情報処理装置による情報処理方法であって、
   前記プロセッサが、
   検査対象物の一部であるオブジェクトの状態を規定する検査基準を取得することと、
   取得された検査基準をプログラム生成モデルに入力することにより、前記プログラム生成モデルに、前記検査対象物の画像データに関する要素処理をそれぞれ実行する複数の処理ユニットを組み合わせた、前記画像データに基づき前記検査対象物を検査するための検査プログラムを生成させることと、
   を含む、情報処理方法。
9. コンピュータに、
   検査対象物の一部であるオブジェクトの状態を規定する検査基準を取得することと、
   取得された検査基準をプログラム生成モデルに入力することにより、前記プログラム生成モデルに、前記検査対象物の画像データに関する要素処理をそれぞれ実行する複数の処理ユニットを組み合わせた、前記画像データに基づき前記検査対象物を検査するための検査プログラムを生成させることと、
   を実行させるためのプログラム。