JP7195467B1 - 学習モデルの生成方法、学習用データの生成方法、コンピュータプログラム及び情報処理装置 - Google Patents

Abstract

【課題】撮影した画像に基づく分類又は検査等の処理の精度を向上することが期待できる学習モデルの生成方法、学習用データの生成方法、３次元モデルの生成方法、情報処理方法、コンピュータプログラム及び情報処理装置を提供する。【解決手段】本実施の形態に係る学習モデルの生成方法では、情報処理装置が、対象物の光の反射率及び光の波長の対応関係の測定情報を取得し、前記対象物の３次元仮想空間における３次元モデルを生成し、取得した前記測定情報に基づいて、所定波長におけるテクスチャ画像を生成し、生成した前記テクスチャ画像を貼り付けた前記３次元モデルを３次元仮想空間にて撮影した画像を取得し、取得した画像を用いた機械学習により学習モデルを生成する。【選択図】図１

Description

本発明は、対象物の異常判定等の処理をおこなうための学習モデルの生成方法、学習用データの生成方法、コンピュータプログラム及び情報処理装置に関する。

近年、機械学習及び深層学習等の技術の進歩は著しく、例えば機械学習がなされた学習モデル（いわゆるＡＩ（Artificial Intelligence））を用いて、カメラで撮影した画像に写された対象物の種類を分類する、又は、画像に写された対象物の異常を判定する等の処理を高精度に行うことが可能となっている。

特許文献１においては、検査対象物を搬送し、搬送した検査対象物の画像を順次生成し、検査対象物の画像から検査対象物の異常を検出するための学習済モデルを用いて検査対象物における異常を検出するＡＩ検査を実行する検査装置が提案されている。

特開２０２１－１３１３６４号公報

一般的なカメラの撮影によって得られる可視光の領域の画像では、色が似ているもの又は色の差が小さいもの等を対象物として分類又は検査等の処理を行う場合、処理精度の向上が難しかった。

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、撮影した画像に基づく分類又は検査等の処理の精度を向上することが期待できる学習モデルの生成方法、学習用データの生成方法、コンピュータプログラム及び情報処理装置を提供することにある。

一実施形態に係る学習モデルの生成方法は、情報処理装置が、対象物について予め測定した正常箇所及び異常箇所それぞれの光の反射率及び光の波長の対応関係を取得し、前記正常箇所及び前記異常箇所の模様が描かれた基本テクスチャ画像を生成し、前記対応関係に基づいて所定波長における前記模様の色を算出し、算出した前記色で前記基本テクスチャ画像の前記模様を着色したテクスチャ画像を生成し、前記対象物の形状を３次元仮想空間に再現した基本３次元モデルを生成し、前記基本３次元モデルに前記テクスチャ画像を貼り付けた３次元モデルを生成し、生成した前記３次元モデルを３次元仮想空間にて撮影した画像を取得し、取得した画像を用いた機械学習により学習モデルを生成する。

一実施形態による場合は、撮影した画像に基づく分類又は検査等の処理の精度を向上することが期待できる。

本実施の形態に係る情報処理システムの構成を説明するための模式図である。 本実施の形態に係る検査装置の構成を説明するための模式図である。 回転フィルタ７の構成を説明するための模式図である。 本実施の形態に係る検査装置の構成を示すブロック図である。 本実施の形態に係る検査装置が用いる学習モデルの一構成例を示す模式図である。 本実施の形態に係る検査装置が用いる学習モデルの他の構成例を示す模式図である。 本実施の形態に係る検査装置が行う検査処理の手順を示すフローチャートである。 本実施の形態に係る情報処理装置の構成を示すブロック図である。 光特性情報の一例を示す模式図である。 アボガドの撮影画像の一例である。 テクスチャ画像の一例である。 ３次元モデルの生成を説明するための模式図である。 学習用データとして生成された画像の一例を示す模式図である。 本実施の形態に係る情報処理装置が行う処理の手順を示すフローチャートである。

本発明の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

＜システム構成＞
図１は、本実施の形態に係る情報処理システムの構成を説明するための模式図である。本実施の形態に係る情報処理システムは、例えば食品又は医薬品等の検査対象物に異常があるか否かを判定するシステムである。本実施の形態に係る情報処理システムは、情報処理装置１、検査装置３及びカメラ５等を備えて構成されている。検査装置３及びカメラ５は、例えば検査対象物の検査を行う工場又は検査場等に設けられ、検査対象物の異常等を判定する検査工程等で直接的に用いられる装置である。これに対して情報処理装置１は、検査装置３が異常判定の処理に用いる学習モデル、いわゆるＡＩを生成するための装置であり、例えば検査装置３の開発及び販売等を行う会社が管理運営する装置である。

本実施の形態に係る情報処理システムでは、検査工程等で検査装置３及びカメラ５を用いた検査対象物の検査を開始する前に、情報処理装置１による学習モデルの生成が行われる。本実施の形態においては、検査装置３及びカメラ５を用いて正常な検査対象物及び異常を有する検査対象物の撮影を予め行い、複数の検査対象物の撮影画像を情報処理装置１が検査装置３から取得し、取得した複数の画像を学習用データとして用いた機械学習の処理を行うことにより、検査対象物を撮影した画像に基づいて検査対象物の異常の有無を判定する学習モデルを生成する。情報処理装置１が生成した学習モデルは検査装置３へ送信され、検査装置３は情報処理装置１が生成した学習済みの学習モデルを受信して自身の記憶部に記憶する。なお情報処理装置１が学習モデルを生成するために学習用データとして用いる画像は、必ずしも検査装置３及びカメラ５により撮影された画像でなくてよく、同様の条件で撮影された画像であればどのような装置により撮影された画像が学習用データとして用いられてもよい。

検査装置３は、情報処理装置１が生成した学習モデルを用いて、検査対象物の検査、即ち検査対象物に異常があるか否かを判定する処理を行う。検査装置３は、カメラ５にて検査対象物を撮影し、検査対象物の撮影画像を学習済みの学習モデルへ入力する。学習モデルは、入力された画像に写された検査対象物の異常の有無に関する情報を出力する。検査装置３は、学習モデルが出力する情報を取得して、検査対象物に異常があるか否かを判定することができる。

＜検査処理＞
図２は、本実施の形態に係る検査装置３の構成を説明するための模式図である。本実施の形態に係る検査装置３は、カメラ５及び検査対象物の間に配置される回転フィルタ７を備えている。検査装置３は、回転フィルタ７を通してカメラ５による撮影を行い、回転フィルタ７を通して撮影された検査対象物の撮影画像に基づいて検査を行う。

図３は、回転フィルタ７の構成を説明するための模式図である。回転フィルタ７は、円板状の本体部に複数種類のフィルタ７ａ～７ｆが周方向に並べて配置されたものであり、本体部の中心にはモータの回転軸が固定されている。回転フィルタ７は、いずれか１つのフィルタ７ａ～７ｆがカメラ５のレンズの前に位置するよう設置される。回転フィルタ７のモータは検査装置３により回転の制御が行われ、検査装置３はモータの回転を制御して回転フィルタ７の本体部を回転させることで、カメラ５のレンズの前に位置するフィルタ７ａ～７ｆを切り替えることができる。即ち検査装置３は、回転フィルタ７が備える複数種類のフィルタ７ａ～７ｆの１つを選択してカメラ５による検査対象物の撮影を行うことができる。

また本実施の形態に係るカメラ５は、可視光線のみでなく、赤外線を受光して撮影を行うことが可能なカメラである。回転フィルタ７が備える複数種類のフィルタ７ａ～７ｆには、例えば赤色の光を通過させる赤色フィルタ、青色の光を通過させる青色フィルタ、緑色の光を通過させる緑色フィルタ、第１波長（例えば７５０ｎｍ）の赤外線を通過させる第１赤外線フィルタ、及び、第２波長（例えば８００ｎｍ）の赤外線を通過させる第２赤外線フィルタ等が含まれ得る。また回転フィルタ７のフィルタ７ａ～７ｆには、実質的にフィルタなしで通常の撮影を行うものが含まれていてよい。

本実施の形態に係る検査装置３は、回転フィルタ７を回転させて複数種類のフィルタ７ａ～７ｆを介したカメラ５による検査対象物の撮影を順に行い、撮影された複数の撮影画像に基づいて、検査対象物の異常の有無を判定する。例えば回転フィルタ７に６種類のフィルタ７ａ～７ｆが設けられている場合、検査装置３は各フィルタ７ａ～７ｆを介した検査対象物の撮影を順に行うことによって、６種類の撮影画像を取得することができる。ただし検査装置３は、回転フィルタ７が備える全てのフィルタ７ａ～７ｆを用いた撮影を行う必要はなく、例えば回転フィルタ７に６種類のフィルタ７ａ～７ｆが設けられている場合であっても、検査装置３は５つ又はそれ以下のフィルタ７ａ～７ｆを用いて撮影を順に行い、５種類又はそれ以下の種類の撮影画像を取得してもよい。検査装置３は、カメラ５及び回転フィルタ７を用いた撮影により得られた検査対象物の複数種類の撮影画像と、情報処理装置１が生成した学習モデルとを用いて、撮影画像に写された検査対象物の異常の有無を判定する。

なお本実施の形態においては、回転フィルタ７を用いて複数種類のフィルタを変更する構成が採用されているが、フィルタを変更するための構成は回転フィルタ７の構成に限らない。例えば、カメラ５のレンズに対して一又は複数のフィルタがスライドすることにより切り替わる構成であってよく、これら以外の方法でフィルタの切り替えが行われる構成であってよい。またフィルタの切り替えは、検査装置３等の制御により自動で行われてよく、ユーザの手動により行われてもよい。ユーザが手動でフィルタを切り替える構成の場合、例えばカメラ５のレンズに対してユーザがフィルタを個別に着脱する構成であってもよい。

図４は、本実施の形態に係る検査装置３の構成を示すブロック図である。本実施の形態に係る検査装置３は、処理部３１、記憶部（ストレージ）３２、通信部（トランシーバ）３３、入出力部３４、表示部（ディスプレイ）３５及び操作部３６等を備えて構成されている。処理部３１は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro-Processing Unit）等の演算処理装置、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を用いて構成されている。処理部３１は、記憶部３２に記憶されたプログラム３２ａを読み出して実行することにより、検査対象物の検査に関する種々の制御処理及びカメラ５の撮影画像に基づく異常判定処理等の種々の処理を行う。

記憶部３２は、例えばフラッシュメモリ又はハードディスク等の不揮発性の記憶装置を用いて構成されている。記憶部３２は、処理部３１が実行する各種のプログラム、及び、処理部３１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部３２は、処理部３１が実行するプログラム３２ａを記憶する。また記憶部３２には、予め機械学習がなされた学習済みの学習モデルに関する情報を記憶する学習モデル記憶部３２ｂが設けられている。

本実施の形態においてプログラム（コンピュータプログラム、プログラム製品）３２ａは、メモリカード又は光ディスク等の記録媒体９９に記録された態様で提供され、検査装置３は記録媒体９９からプログラム３２ａを読み出して記憶部３２に記憶する。ただし、プログラム３２ａは、例えば検査装置３の製造段階において記憶部３２に書き込まれてもよい。また例えばプログラム３２ａは、遠隔のサーバ装置等が配信するものを検査装置３が通信にて取得してもよい。例えばプログラム３２ａは、記録媒体９９に記録されたものを書込装置が読み出して検査装置３の記憶部３２に書き込んでもよい。プログラム３２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９９に記録された態様で提供されてもよい。

学習モデル記憶部３２ｂは、検査装置３が異常判定等の処理に用いる一又は複数の学習モデルに関する情報を記憶する。学習モデルに関する情報には、例えば学習モデルの構造を示す情報、及び、機械学習の処理により決定された学習モデルのパラメータの情報等が含まれ得る。

通信部３３は、ＬＡＮ（Local Area Network）又はインターネット等を含むネットワークを介して、種々の装置との間で通信を行う。本実施の形態において通信部３３は、ネットワークを介して情報処理装置１との間で通信を行う。通信部３３は、処理部３１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部３１へ与える。

入出力部３４は、例えば通信ケーブルを介してカメラ５及び回転フィルタ７にそれぞれ接続され、カメラ５及び回転フィルタ７との間で撮影画像及び制御情報等のデータの授受を行う。入出力部３４は、例えばＵＳＢ（Universal Serial Bus）又はＬＡＮ（Local Area Network）等の規格に基づいてデータの授受を行ってよい。また入出力部３４は、通信ケーブルを介すことなく、無線通信によりカメラ５又は回転フィルタ７とのデータの授受を行ってもよい。

表示部３５は、液晶ディスプレイ等を用いて構成されており、処理部３１の処理に基づいて種々の画像及び文字等を表示する。操作部３６は、ユーザの操作を受け付け、受け付けた操作を処理部３１へ通知する。例えば操作部３６は、機械式のボタン又は表示部３５の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部３６は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは検査装置３に対して取り外すことが可能な構成であってもよい。

また本実施の形態に係る検査装置３には、記憶部３２に記憶されたプログラム３２ａを処理部３１が読み出して実行することにより、撮影画像取得部３１ａ、異常判定部３１ｂ及び表示処理部３１ｃ等が、ソフトウェア的な機能部として処理部３１に実現される。なお本図においては、処理部３１の機能部として、検査対象物の異常判定の処理に関連する機能部を図示し、これ以外の処理に関する機能部は図示を省略している。

撮影画像取得部３１ａは、入出力部３４にてカメラ５及び回転フィルタ７との間でデータの送受信を行うことによってこれらの動作を制御し、回転フィルタ７を通した検査対象物の撮影をカメラ５にて行う。撮影画像取得部３１ａは、回転フィルタ７の回転を制御することで複数のフィルタ７ａ～７ｆを切り替える。また撮影画像取得部３１ａは、カメラ５の撮影に関する制御、例えばシャッター速度の変更、明るさの調整及びピント合わせ等の制御を行う。撮影画像取得部３１ａは、回転フィルタ７のフィルタ７ａ～７ｆを切り替えてカメラ５による検査対象物の撮影を順に行い、複数のフィルタ７ａ～７ｆを介してそれぞれ撮影された検査対象物の撮影画像をカメラ５から取得する。撮影画像取得部３１ａは、取得した撮影画像を記憶部３２に一時的に記憶する。

異常判定部３１ｂは、カメラ５から取得した検査対象物の複数の撮影画像に基づいて、検査対象物の異常の有無を判定する処理を行う。本実施の形態において異常判定部３１ｂは、記憶部３２の学習モデル記憶部３２ｂに記憶された一又は複数の学習モデルを用いて異常判定の処理を行う。例えば学習モデルは、画像の入力を受け付けて、この画像に写された検査対象物に異常があるか否かを出力するよう予め機械学習がなされた学習モデルである。また例えば学習モデルは、画像の入力を受け付けて、この画像に写された検査対象に含まれる異常の箇所を囲む矩形枠（いわゆるバウンディングボックス）の情報を出力するよう予め機械学習がなされた学習モデルであってもよい。また例えば学習モデルは、画像の入力を受け付けて、この画像に写された検査対象物の異常の箇所を検出し、検出した異常の箇所に相当する画像中の画素を特定する（いわゆるセグメンテーションを行う）よう予め機械学習がなされた学習モデルであってもよい。異常判定部３１ｂが利用する学習モデルは、これら以外のどのようなものであってもよい。異常判定部３１ｂは、カメラ５から取得した撮影画像を学習モデルへ入力し、学習モデルが出力する情報を取得し、取得した情報に基づいて検査対象物の異常の有無を判定する。

表示処理部３１ｃは、画像及び文字等の種々の情報を表示部３５に表示する処理を行う。本実施の形態において表示処理部３１ｃは、異常判定部３１ｂによる異常判定の結果に関する情報を表示部３５に表示する。表示処理部３１ｃは、例えば検査対象物に異常があると判定された場合にその旨を通知するメッセージを表示部３５に表示すると共に、異常ありと判定された検査対象物の撮影画像に検出された異常の箇所を示す記号又は図形等を重畳した画像を表示してもよい。

図５は、本実施の形態に係る検査装置３が用いる学習モデルの一構成例を示す模式図である。本実施の形態に係る学習モデルは、撮影条件が異なる複数種類の撮影画像の入力を受け付けて、これらの画像に写された検査対象物の異常の有無に関する情報を出力するよう予め機械学習がなされた学習モデルである。学習モデルに対して入力される複数種類の撮影画像は、回転フィルタ７に設けられた複数のフィルタ７ａ～７ｆを介してカメラ５がそれぞれ撮影した撮影画像である。例えば回転フィルタ７に６種類のフィルタ７ａ～７ｆが設けられている場合、学習モデルには６種類の撮影画像が入力される。

本実施の形態に係る学習モデルは、例えばＣＮＮ（Convolutional Neural Network）の学習モデルが採用され得る。ただし学習モデルは、ＣＮＮ以外の構成、例えばＤＮＮ（Deep Neural Network）、Attention、Transformer又はＧＡＮ（Generative Adversarial Network）等の種々の構成の学習モデルが採用されてよい。複数の撮影画像は、ＣＮＮへの入力データの各チャネル（チャンネル）に割り当てられて、ＣＮＮへ一纏まりの画像データとして入力される。例えば、６種類の撮影画像は６チャネルの一纏まりの画像データとして学習モデルへ入力される。ただしこれは各撮影画像が１チャネル（グレースケール）の画像の場合であり、各撮影画像が３チャネル（カラー）の画像であれば、３×６＝１８チャネルの画像データが学習モデルへ入力される。

図６は、本実施の形態に係る検査装置３が用いる学習モデルの他の構成例を示す模式図である。図６に示す他の構成例は、複数の撮影画像を１つの学習モデルへ入力するのではなく、複数の撮影画像を複数の学習モデルへ入力する構成である。複数の学習モデルは、例えばそれぞれＣＮＮの学習モデルであり、１つの撮影画像の入力に対して、この撮影画像に写された検査対象物の異常の有無に関する情報を出力するよう予め機械学習がなされた学習モデルである。例えば回転フィルタ７が６種類のフィルタ７ａ～７ｆを備える場合、学習モデルは各フィルタ７ａ～７ｆに対応付けて６つ生成される。

検査装置３は、回転フィルタ７の各フィルタ７ａ～７ｆを通してカメラ５による検査対象物の撮影を行い、検査対象物の撮影画像を撮影に用いたフィルタ７ａ～７ｆに対応する学習モデルへ入力し、学習モデルが出力する情報を取得する。検査装置３は、複数のフィルタ７ａ～７ｆについて同様の処理を行い、複数の学習モデルがそれぞれ出力する複数の情報を取得する。検査装置３は、各学習モデルが出力した検査対象物の異常の有無の判定結果に基づいて、例えば１つでも異常ありの判定結果が含まれている場合には、検査対象物に異常があると判定することができる。

なお図５及び図６に示した学習モデルの構成は一例であって、これに限るものではなく、学習モデルはどのような構成のものが採用されてよい。また図５及び図６に示す例では、学習モデルが出力する情報を異常の有無を示す情報としているが、これに限るものではない。例えば学習モデルは、異常の種類の推定結果の情報を出力してもよく、異常箇所を囲むバウンディングボックスの情報を出力してもよく、撮影画像における異常箇所に相当する画素の位置を示す情報を出力してもよく、これら以外の情報を出力してもよい。

図７は、本実施の形態に係る検査装置３が行う検査処理の手順を示すフローチャートである。本実施の形態に係る検査装置３の処理部３１の撮影画像取得部３１ａは、回転フィルタ７の回転を制御することにより、回転フィルタ７に設けられた複数のフィルタ７ａ～７ｆの中から１つのフィルタ７ａ～７ｆを選択する（ステップＳ１）。撮影画像取得部３１ａは、選択したフィルタ７ａ～７ｆを介して検査対象物を撮影した撮影画像をカメラ５から取得する（ステップＳ２）。撮影画像取得部３１ａは、回転フィルタ７に設けられた全てのフィルタ７ａ～７ｆについて撮影画像を取得したか否かを判定する（ステップＳ３）。全てのフィルタ７ａ～７ｆについて撮影画像を取得していない場合（Ｓ３：ＮＯ）、撮影画像取得部３１ａは、ステップＳ１へ処理を戻し、次のフィルタ７ａ～７ｆを選択して撮影画像を取得する。

全てのフィルタ７ａ～７ｆについて撮影画像を取得した場合（Ｓ３：ＹＥＳ）、処理部３１の異常判定部３１ｂは、ステップＳ２にて取得した複数の撮影画像を、学習モデル記憶部３２ｂに記憶した学習済みの学習モデルへ入力する（ステップＳ４）。異常判定部３１ｂは、複数の撮影画像の入力に応じて学習モデルが出力する出力情報を取得する（ステップＳ５）。ステップＳ５にて取得した情報に基づいて、異常判定部３１ｂは、複数の撮影画像に写された検査対象物の異常の有無を判定する（ステップＳ６）。

検査対象に異常がある場合（Ｓ６：ＹＥＳ）、処理部３１の表示処理部３１ｃは、例えば「異常が見つかりました」等のメッセージを表示部３５に表示して、検査対象物に異常があることをユーザに通知し（ステップＳ７）、処理を終了する。検査対象物に異常がない場合（Ｓ６：ＮＯ）、表示処理部３１ｃは、例えば「異常はありません」等のメッセージを表示部３５に表示して、検査対象物に異常がないことをユーザに通知し（ステップＳ８）、処理を終了する。

＜学習用データ及び学習モデルの生成処理＞
本実施の形態に係る情報処理システムでは、検査装置３が検査対象物の異常の有無を判定するために用いる学習モデルを情報処理装置１が予め機械学習により生成する。また本実施の形態に係る情報処理装置１は、学習モデルの機械学習に用いる学習用データを生成する処理を行う。

図８は、本実施の形態に係る情報処理装置１の構成を示すブロック図である。本実施の形態に係る情報処理装置１は、処理部１１、記憶部（ストレージ）１２及び通信部（トランシーバ）１３等を備えて構成されている。なお本実施の形態においては、１つの情報処理装置１にて処理が行われるものとして説明を行うが、複数の情報処理装置が分散して処理を行ってもよい。

処理部１１は、ＣＰＵ、ＭＰＵ、ＧＰＵ（Graphics Processing Unit）又は量子プロセッサ等の演算処理装置、ＲＯＭ及びＲＡＭ等を用いて構成されている。処理部１１は、記憶部１２に記憶されたプログラム１２ａを読み出して実行することにより、学習用データを生成する処理及び学習モデルを生成する処理等の種々の処理を行う。

記憶部１２は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部１２は、処理部１１が実行する各種のプログラム、及び、処理部１１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部１２は、処理部１１が実行するプログラム１２ａを記憶する。また記憶部１２には、生成した学習用データを記憶する学習用データ記憶部１２ｂ、及び、生成した学習モデルに関する情報を記憶する学習モデル記憶部１２ｃが設けられている。

本実施の形態においてプログラム（コンピュータプログラム、プログラム製品）１２ａは、メモリカード又は光ディスク等の記録媒体９８に記録された態様で提供され、情報処理装置１は記録媒体９８からプログラム１２ａを読み出して記憶部１２に記憶する。ただし、プログラム１２ａは、例えば情報処理装置１の製造段階において記憶部１２に書き込まれてもよい。また例えばプログラム１２ａは、遠隔のサーバ装置等が配信するものを情報処理装置１が通信にて取得してもよい。例えばプログラム１２ａは、記録媒体９８に記録されたものを書込装置が読み出して情報処理装置１の記憶部１２に書き込んでもよい。プログラム１２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９８に記録された態様で提供されてもよい。

学習用データ記憶部１２ｂは、学習モデルを生成する機械学習を行うために情報処理装置１が生成した学習用データを記憶する。本実施の形態において情報処理装置１が生成する学習用データは、検査対象物となるものの画像と、この画像に写されたものが異常を有するか否かを示すフラグの情報とを対応付けたデータであり、いわゆる教師ありの機械学習に用いられる教師データである。ただし、教師なしの機械学習に用いられる場合には、学習用データには異常の有無を示すフラグの情報が含まれてなくてよく、検査対象物の画像のみであってよい。

学習モデル記憶部１２ｃは、学習用データ記憶部１２ｂに記憶した学習用データを用いた機械学習の処理により情報処理装置１が生成した一又は複数の学習モデルに関する情報を記憶する。学習モデルに関する情報には、例えば学習モデルの構造を示す情報、及び、機械学習の処理により決定された学習モデルのパラメータの情報等が含まれ得る。

通信部１３は、ＬＡＮ又はインターネット等を含むネットワークを介して、種々の装置との間で通信を行う。本実施の形態において通信部１３は、ネットワークを介して検査装置３との間で通信を行う。通信部１３は、処理部１１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部１１へ与える。

また本実施の形態に係る情報処理装置１には、記憶部１２に記憶されたプログラム１２ａを処理部１１が読み出して実行することにより、光特性情報取得部１１ａ、テクスチャ画像生成部１１ｂ、３次元モデル生成部１１ｃ、学習用データ生成部１１ｄ、学習モデル生成部１１ｅ及び学習モデル送信部１１ｆ等が、ソフトウェア的な機能部として処理部１１に実現される。なお本図においては、処理部１１の機能部として、学習用データの生成処理及び学習モデルの生成処理に関連する機能部を図示し、これ以外の処理に関する機能部は図示を省略している。

光特性情報取得部１１ａは、検査対象物となる物品に関する光特性の情報を取得する処理を行う。本実施の形態において光特性情報は、検査対象物となる物品が反射する光の波長と、この光の反射率とを対応付けた情報である。

図９は、光特性情報の一例を示す模式図であり、横軸を光の波長［ｎｍ］とし、縦軸を光の反射率としたグラフである。なお図９に示すグラフは、検査対象物を「アボガド」とし、アボガドの表面における光の特性を測定した測定結果である。また図９に示すグラフでは、異常がないアボガドの光特性を実線で示し、異常があるアボガド（の異常箇所）の光特性を破線で示してある。アボガドの異常の有無は、例えば腐敗箇所の有無である。図９に示すように、光の波長が４００ｎｍ～７００ｎｍの領域では、異常の有無に関わらず、アボガドの光の反射率は０．１程度と低い。これは、いわゆる可視光線の領域において、アボガドが黒色又はそれに近い暗い色で人間に視認されることを意味している。この波長領域において、異常のあるアボガドと、異常のないアボガドとで光の反射率に大きな差異はなく、人間が目視でアボガドの異常の有無を判断することは難しく、アボガドを撮影した画像を用いて異常の有無を判定することは難しい。

これに対して、光の波長が７５０ｎｍ～９００ｎｍの領域では、アボガドの光の反射率は０．４を超え、異常のあるアボガドと異常のないアボガドとで光の反射率に大きな差異が生じている。このため、検査対象物がアボガドである場合、波長７５０ｎｍ～９００ｎｍの領域で撮影した画像には、異常のあるアボガドと異常のないアボガドとで差異が生じ、アボガドを撮影した画像に基づいて異常の有無を判定することが可能である。

図１０は、アボガドの撮影画像の一例である。図１０の上側には波長５３０ｎｍの光に基づく撮影を行ったアボガドの画像を示し、図１０の下側には波長７５０ｎｍの光に基づく撮影を行ったアボガドの画像を示してある。各画像には２つのアボガドが写されており、左側のアボガドは異常がないもの、右側のアボガドは異常があるものである。波長５３０ｎｍは可視光の緑色の光に相当し、図１０の上側の画像は緑色のカラーフィルタを通してアボガドを撮影することで得られた画像である。上述のように、可視光領域において撮影された図１０上側の画像に基づいてアボガドの異常の有無を判定することは難しい。

これに対して波長７５０ｎｍは赤外線領域の光に相当し、図１０の下側の画像は波長７５０ｎｍの赤外線を通過させる赤外線フィルタを通してアボガドを撮影することで得られた画像である。図９に示すように波長７５０ｎｍでは異常の有無に応じてアボガドの光の反射率が異なるため、図１０の下側の画像のように異常がないアボガドは明るく（白く）写され、異常があるアボガドはその異常箇所が暗く（黒く）写される。図１０の下側の画像に基づけば、人間が目視でアボガドの異常の有無及び異常の箇所を判断することも可能であり、学習モデルを用いた異常の有無の判定を行うことが可能である。

検査対象物の光特性情報は、例えば本実施の形態に係る情報処理システムの設計者又は管理者等により予め測定される。光の反射率の測定には、例えば分光器が用いられる。測定は、異常を有する検査対象物と、異常を有しない検査対象物との両方について行われる。予め測定された検査対象物の光特性の情報は、デジタルデータとして情報処理装置１の記憶部１２に予め記憶され、光特性情報取得部１１ａは記憶部１２から光特性情報を読み出すことで、光特性情報を取得することができる。

また本実施の形態に係る情報処理システムでは、検査対象物の光特性の測定を、検査装置３を用いて行うことができる。検査装置３の回転フィルタ７に設けられた複数のフィルタ７ａ～７ｆを用いることで複数の波長で検査対象物を撮影し、複数の波長で撮影された複数の撮影画像から各波長での検査対象物の光の反射率を算出する。なおこの場合、図９に示すグラフにおいて縦軸を光の反射率としているが、反射率に代えて撮影画像から取得した輝度又は画素値等が用いられてもよい。情報処理装置１の光特性情報取得部１１ａは、検査装置３から検査対象物を複数のフィルタ７ａ～７ｆを用いて撮影した複数の撮影画像を取得し、取得した複数の撮影画像に基づいて検査対象物の反射率－波長の特性を算出し、算出した光特性情報を記憶部１２に記憶する。以後、光特性情報取得部１１ａは記憶部１２から光特性情報を読み出すことで、光特性情報を取得することができる。

光特性の測定を検査装置３にて行う場合、測定可能な光の波長は回転フィルタ７に設けられたフィルタ７ａ～７ｆの数までであり、測定結果は波長に関して離散的な値となる。本実施の形態に係る情報処理装置１の光特性情報取得部１１ａは、回転フィルタ７を用いて測定できない波長に関しては、線形補完を行うことによって反射率を算出し、波長に関して連続的な値となる光特性情報を生成して記憶部１２に記憶する。ただし、以降の処理において回転フィルタ７で測定できない波長に関する情報が不要であれば、光特性情報取得部１１ａは、補完処理を行うことなく離散的な光特性情報を記憶部１２に記憶してよい。

なお検査対象物の光特性の測定は、少なくとも異常がないサンプル１つと、異常があるサンプル１つとの２つについて行われ、できるだけ多くのサンプルについて測定が行われることが好ましい。光特性情報取得部１１ａは複数のサンプルについての測定結果を取得し、測定結果の平均値又は中央値等の値を算出して、これらの値を光特性情報とすることができる。

情報処理装置１のテクスチャ画像生成部１１ｂは、光特性情報取得部１１ａが取得した光特性情報に基づいて、検査対象物の３次元モデルに貼り付けるテクスチャ画像を生成する処理を行う。図１１は、テクスチャ画像の一例である。図１１に示すテクスチャ画像は、検査対象物をアボガドとし、アボガドの３次元モデルに貼り付けるためのテクスチャ画像である。またこのテクスチャ画像は、波長７５０ｎｍの光を通過させるフィルタを介して撮影した場合の異常を有するアボガドの表面の模様を模した画像である。このテクスチャ画像には、薄い（明るい）グレーの部分と、濃い（暗い）グレーの部分とが含まれている。濃いグレーの部分がアボガドの異常（腐敗など）が生じている箇所であり、薄いグレーの部分がアボガドの正常な箇所である。なお、図１１に示すテクスチャ画像は異常を有するアボガドのものであり、図示は省略するが異常を有しない正常なアボガドのテクスチャ画像は、濃いグレーの部分が含まれない、又は、濃いグレーの部分が占める面積の比率が小さいものとなる。

まずテクスチャ画像生成部１１ｂは、異常箇所（図１１の濃いグレーの部分）に相当する模様を適宜に配置した基本となるテクスチャ画像（以下、基本テクスチャ画像という）を生成する。この際にテクスチャ画像生成部１１ｂは、例えば予め作成された異常箇所の模様の複数のパターンの中から一又は複数のパターンを適宜に（例えばランダムに）選択し、選択したパターンを適宜に（例えばランダムに）配置することで基本テクスチャ画像を生成することができる。配置する模様の数、大きさ及び位置等を適宜に変化させて多数の画像を生成することで、テクスチャ画像生成部１１ｂは、多数の基本テクスチャ画像を生成することができる。なおテクスチャ画像生成部１１ｂは、例えば異常箇所が占める面積についての閾値を定め、正常なアボガドについてはこの閾値を超えないよう異常箇所の模様を配置し、異常なアボガドについてはこの閾値を超えるように異常箇所の模様を配置して基本テクスチャ画像を生成してもよい。

またテクスチャ画像生成部１１ｂは、予め機械学習がなされた画像を生成する学習モデル、例えばＧＡＮ（Generative Adversarial Network、敵対的生成ネットワーク）又はＶＡＥ（Variational Auto Encoder、変分オートエンコーダ）等の学習モデルを用いて、異常箇所の模様が描かれた基本テクスチャ画像を生成してもよい。これらの学習モデルの機械学習には、アボガドの異常箇所を撮影した撮影画像などが用いられ得る。なお、テクスチャ画像生成部１１ｂによる基本テクスチャ画像の生成は、どのような方法が採用されてもよい。

次いでテクスチャ画像生成部１１ｂは、生成した基本テクスチャ画像と、光特性情報取得部１１ａが取得した光特性情報とに基づいて、複数の光の波長に対応する複数のテクスチャ画像を生成する。テクスチャ画像生成部１１ｂは、光特性情報に基づいて例えば波長７５０ｎｍに対応する正常箇所の反射率と異常箇所の反射率とを取得し、取得した反射率に基づいて正常箇所及び異常箇所の色（輝度、画素値等）を算出し、算出した色で基本テクスチャ画像に含まれる正常箇所及び異常箇所を着色した画像をテクスチャ画像として生成する。テクスチャ画像生成部１１ｂは、同様にして複数の波長についてテクスチャ画像を生成することができる。本実施の形態においてテクスチャ画像生成部１１ｂは、検査装置３の回転フィルタ７に設けられた複数のフィルタ７ａ～７ｆに対応する波長の複数のテクスチャ画像を生成する。

情報処理装置１の３次元モデル生成部１１ｃは、検査対象物を３次元の仮想空間で再現した３次元モデルを生成する処理を行う。図１２は、３次元モデルの生成を説明するための模式図であり、検査対象物としてアボガドを例に３次元モデルが示されている。３次元モデル生成部１１ｃは、まず検査対象物の形状を３次元仮想に再現した基本となる３次元モデル（以下、基本３次元モデルという）を生成し、生成した基本３次元モデルに対してテクスチャ画像生成部１１ｂが生成したテクスチャ画像を貼り付けることによって、最終的な検査対象物の３次元モデルを生成する。

本実施の形態に係る情報処理システムでは、物体の３次元形状を計測する３次元計測器（図示せず）を用いて、一又は複数の検査対象物の実物の計測を行うことで、検査対象物の３次元形状の情報収集が行われる。収集された検査対象物の３次元形状の計測データは、情報処理装置１の記憶部１２に記憶され、情報処理装置１の３次元モデル生成部１１ｃはこの計測データに基づいて、検査対象物の基本３次元モデルを生成する。なお本実施の形態において、基本３次元モデルには異常の有無の区別はない。

例えば３次元モデル生成部１１ｃは、複数の計測データから適宜に（ランダムに）１つの計測データを選択し、選択した計測データに基づいて３次元仮想空間に検査対象物の３次元形状を再現することで基本３次元モデルを生成することができる。また例えば３次元モデル生成部１１ｃは、選択した計測データに基づく３次元形状に対し、例えば何らかの確率分布に従って適宜に形状の変形等を行って基本３次元モデルを生成してもよい。また例えば３次元モデル生成部１１ｃは、適宜に複数の計測データを選択して、複数の３次元形状の平均となる形状を算出し、この平均形状の基本３次元モデルを生成してもよい。また例えば３次元モデル生成部１１ｃは、適宜に複数の計測データを選択して、各計測データから一部の形状を抜き出し、複数の計測データから抜き出した複数の形状を適宜に結合する（例えば第１の計測データから上半分の形状を抜き出し、第２の計測データから下半分の形状を抜き出して結合するなど）ことで基本３次元モデルを生成してもよい。

また３次元モデル生成部１１ｃは、予め機械学習がなされた３次元モデルを生成する学習モデル、例えばＧＡＮ又はＶＡＥ等の学習モデルを用いて、検査対象物の基本３次元モデルを生成してもよい。これらの学習モデルの機械学習には、上記の３次元形状の計測データが用いられ得る。なお、３次元モデル生成部１１ｃによる基本３次元モデルの生成は、どのような方法が採用されてもよい。

次いで３次元モデル生成部１１ｃは、生成した基本３次元モデルに対して、テクスチャ画像生成部１１ｂが生成したテクスチャ画像を貼り付けることにより、検査対象物の３次元モデルを生成する。なおテクスチャ画像生成部１１ｂは複数の光の波長に対応して複数のテクスチャ画像を生成しており、３次元モデル生成部１１ｃは、複数のテクスチャ画像を同じ基本３次元モデルに貼り付けることで、光の波長に対応する複数の３次元モデルを生成する。

例えば、回転フィルタ７に６種類のフィルタ７ａ～７ｆが設けられており、テクスチャ画像生成部１１ｂが６種類のテクスチャ画像を１セットとして生成する場合、３次元モデル生成部１１ｃは１つの基本３次元モデルに６種類のテクスチャ画像をそれぞれ貼り付けた６種類の３次元モデルを１セットとして生成する。テクスチャ画像生成部１１ｂがＭセットのテクスチャ画像を生成し、３次元モデル生成部１１ｃがＮ個の基本３次元モデルを生成した場合、３次元モデル生成部１１ｃはＭ×Ｎセットの３次元モデルを生成することが可能である。３次元モデル生成部１１ｃは、生成した３次元モデルの情報を記憶部１２に記憶する。

情報処理装置１の学習用データ生成部１１ｄは、３次元モデル生成部１１ｃが生成した３次元モデルを用いて、検査装置３が用いる学習モデルを生成する機械学習を行うための学習用データを生成する処理を行う。学習用データ生成部１１ｄは、３次元モデル生成部１１ｃが生成した３次元モデル（複数の波長に対応した１セットの複数の３次元モデル）の情報を記憶部１２から読み出し、読み出した情報をもとに３次元仮想空間に３次元モデルを再現する。学習用データ生成部１１ｄは、３次元仮想空間において仮想カメラを用いて３次元モデルを撮影することにより、３次元モデルとして再現された検査対象物を撮影した２次元画像を取得する。即ち学習用データ生成部１１ｄは、３次元仮想空間において適宜に視点及び視線の方向を設定し、この視線の方向に交差する２次元平面上に３次元モデルを投影した画像を生成することで２次元画像を取得する。

なお本実施の形態においては、３次元モデル生成部１１ｃが複数の光の波長に対応する複数の３次元モデルを１セットとして生成する。学習用データ生成部１１ｄは、これら１セットの複数の３次元モデルについて、それぞれ同じ視点及び視線の方向で仮想カメラによる撮影を行った複数の２次元画像を取得し、これら複数の２次元画像を１セットとする。また学習用データ生成部１１ｄは、１つの（１セットの）３次元モデルに対して、複数の異なる視点及び視線の方向からの撮影を行って、複数の（複数セットの）２次元画像を取得してもよい。

学習用データ生成部１１ｄは、３次元モデルから生成した１セットの２次元画像に対して、この画像に写されている検査対象物が異常を有するか否かを示すフラグデータを付したものを生成し、この２次元画像及びフラグを対応付けたデータを学習用データとして学習用データ記憶部１２ｂに記憶する。２次元画像に写された検査対象物が異常を有するものであるか否かは、例えば本実施の形態に係る情報処理システムの設計者又は管理者等により入力されてもよく、また例えば２次元画像に基づいて学習用データ生成部１１ｄが判定してもよい。学習用データ生成部１１ｄは、例えば基本テクスチャ画像に含まれる異常箇所の面積の全体面積に対する比率を算出し、この比率が閾値を超える場合に検査対象物が異常を有すると判定し、比率が閾値を超えない場合に異常を有しないと判定することができる。なおこの学習用データはいわゆる教師ありの機械学習に用いられる学習用データであり、教師なしの機械学習のための学習用データの場合には異常を有するか否かを示すフラグデータが含まれていないものを学習用データ生成部１１ｄが学習用データとして記憶してもよい。

本実施の形態に係る情報処理装置１は、テクスチャ画像生成部１１ｂが複数のテクスチャ画像を生成し、３次元モデル生成部１１ｃが複数の３次元モデルを生成し、生成したテクスチャ画像及び３次元モデルを適宜に組み合わせて学習用データ生成部１１ｄが複数の（例えば数百～数万、又はそれ以上の数の）学習用データを生成して学習用データ記憶部１２ｂに記憶する。情報処理装置１が生成した学習用データは、本実施の形態に係る情報処理システムにおいて検査装置３が用いる学習モデルを生成するための機械学習に用いられるのみでなく、例えばネットワーク又は記録媒体等を介して他のシステムに提供され、他のシステムにおいて機械学習に用いられてもよい。

なお、テクスチャ画像生成部１１ｂが例えばＧＡＮ等の機械学習モデルを用いて異常箇所に相当する模様の基本テクスチャ画像を生成する場合、生成される画像には既に存在する画像（例えば光特性情報を測定した際に撮影された画像など）に近い画像、及び、ホワイトノイズ又は異常な歪み等のノイズを有する画像が含まれる可能性がある。学習用データ生成部１１ｄ（又はテクスチャ画像生成部１１ｂ）は、生成された複数のテクスチャ画像から、このような不適切なテクスチャ画像を取り除く処理を行ってもよい。学習用データ生成部１１ｄは、例えば既に存在する画像と、生成された画像との差分を算出し、差分が所定範囲内のものを採用し、差分が所定範囲外のものを取り除くことができる。また学習用データ生成部１１ｄは、生成された画像にホワイトノイズ等のノイズが含まれるか否かを判定し、ノイズが含まれると判定した画像を取り除くことができる。

図１３は、学習用データとして生成された画像の一例を示す模式図である。図１３の上段には、カメラ５及び回転フィルタ７を用いて検査装置３が異常を有するアボガドを撮影した撮影画像が示されている。これに対して図１３の下段には、情報処理装置１が生成した異常を有するアボガドの生成画像が複数示されている。このように本実施の形態に係る情報処理装置１は、学習モデルの機械学習に用いることが可能な画像を生成することができる。

情報処理装置１の学習モデル生成部１１ｅは、学習用データ生成部１１ｄが生成した学習用データを用いた機械学習の処理を行うことにより、検査装置３が用いる学習モデルを生成する処理を行う。例えば学習モデルとしてニューラルネットワークのものが用いられる場合、学習モデル生成部１１ｅは、勾配降下法、確率的勾配降下法又は誤差逆伝播法等の手法により学習モデルの機械学習を行うことができる。機械学習の処理は既存の技術であるため、詳細な説明は省略する。学習モデル生成部１１ｅは、機械学習により生成した学習モデルの内部パラメータ等の情報を学習モデル記憶部１２ｃに記憶する。

情報処理装置１の学習モデル送信部１１ｆは、学習モデル生成部１１ｅが生成した学習モデルに関する情報（機械学習により決定したパラメータ等）を検査装置３へ送信する処理を行う。学習モデル送信部１１ｆは、学習モデル記憶部１２ｃから生成された学習モデルに関する情報を読み出し、予め設定された一又は複数の検査装置３に対して読み出した情報を送信する。

図１４は、本実施の形態に係る情報処理装置１が行う処理の手順を示すフローチャートである。本実施の形態に係る情報処理装置１の処理部１１の光特性情報取得部１１ａは、検査装置３から検査対象物を回転フィルタ７の複数のフィルタ７ａ～７ｆを通して撮影した複数の撮影画像を取得する（ステップＳ２１）。このときに光特性情報取得部１１ａは、異常を有する検査対象物及び異常を有さない検査対象物を含む複数の検査対象物についての撮影画像を取得することが好ましい。なお本実施の形態に係る情報処理システムでは、情報処理装置１がネットワークを介した通信を行うことにより検査装置３から撮影画像を取得するものとするが、これに限るものではなく、例えば記録媒体を介して撮影画像の授受が行われてもよい。

光特性情報取得部１１ａは、検査装置３から取得した撮影画像に基づいて、検査対象物の光特性情報を生成し、生成した光特性情報を記憶部１２に記憶する（ステップＳ２２）。このときに光特性情報取得部１１ａは、図９に示すように、異常を有する検査対象物と異常を有しない検査対象物とについて、光の波長と光の反射率とを対応付けた情報を、検査装置３から取得した複数の撮影画像に基づいて生成する。光特性情報取得部１１ａは、撮影画像に含まれない（即ち検査装置３の回転フィルタ７が有するフィルタ７ａ～７ｆに含まれない）波長に対応する反射率については、線形補完を行って光特性情報を生成してよい。また本実施の形態においては、情報処理装置１が光特性情報を生成するものとするが、これに限るものではなく、情報処理装置１が光特性情報を生成せず、予め生成された光特性情報を記憶部１２から読み出して取得してもよい。

処理部１１のテクスチャ画像生成部１１ｂは、例えばＧＡＮ等の学習モデルを用いた画像生成処理又は適宜の画像処理等を行うことによって、検査対象物の表面の模様等を含む基本テクスチャ画像を生成する（ステップＳ２３）。次いで光特性情報取得部１１ａは、予め記憶部１２に記憶した検査対象物の光特性情報を取得する（ステップＳ２４）。テクスチャ画像生成部１１ｂは、ステップＳ２３にて生成した基本テクスチャ画像と、ステップＳ２４にて取得した光特性情報とを基に、複数の光の波長に対応する複数のテクスチャ画像を生成して、生成したテクスチャ画像を記憶部１２に記憶する（ステップＳ２５）。

処理部１１の３次元モデル生成部１１ｃは、検査対象物の３次元形状を計測した形状測定情報を取得する（ステップＳ２６）。なお本実施の形態においては、物体の３次元形状を計測する３次元計測器を用いて検査対象物の３次元形状を計測した結果が予め記憶部１２に記憶されており、３次元モデル生成部１１ｃは、記憶部１２に記憶された形状測定情報を読み出すことによって、形状測定情報を取得することができる。ただし３次元モデル生成部１１ｃは、例えば３次元計測器との通信を行って、形状測定情報を取得してもよい。

３次元モデル生成部１１ｃは、ステップＳ２６にて取得した形状測定情報を基に、３次元仮想空間に検査対象物の３次元形状を再現した基本３次元モデルを生成する（ステップＳ２７）。次いで３次元モデル生成部１１ｃは、ステップＳ２５にて生成されたテクスチャ画像を取得する（ステップＳ２８）。３次元モデル生成部１１ｃは、ステップＳ２７にて生成した基本３次元モデルに、ステップＳ２８にて取得したテクスチャ画像を貼り付けることによって、検査対象物の３次元モデルを生成する（ステップＳ２９）。

処理部１１の学習用データ生成部１１ｄは、ステップＳ２９にて生成された検査対象物の３次元モデルに対し、３次元仮想空間において仮想カメラによる撮影を行うことによって、検査対象物の２次元画像を生成する（ステップＳ３０）。学習用データ生成部１１ｄは、ステップＳ３０にて生成した２次元画像に対し、この２次元画像に写された検査対象物の異常の有無を示すフラグを付し、２次元画像及び異常有無のフラグを対応付けた学習用データ生成して、生成した学習用データを学習用データ記憶部１２ｂに記憶する（ステップＳ３１）。

なお情報処理装置１は、ステップＳ２３の基本テクスチャ画像、ステップＳ２５のテクスチャ画像、ステップＳ２７の基本３次元モデル、ステップＳ２９の３次元モデル、ステップＳ３０の２次元画像、及び、ステップＳ３１の学習用データを複数生成する。情報処理装置１は、各ステップにおいて複数の情報を生成して次のステップへ移行してもよく、一連のステップを複数回繰り返すことで複数の情報を生成してもよい。

処理部１１の学習モデル生成部１１ｅは、ステップＳ３１にて生成された学習用データを用いた機械学習の処理を行うことによって、検査装置３が検査に用いる学習モデルを生成し、生成した学習モデルの情報を学習モデル記憶部１２ｃに記憶する（ステップＳ３２）。処理部１１の学習モデル送信部１１ｆは、ステップＳ３２にて生成された学習モデルの情報を学習モデル記憶部１２ｃから読み出して、一又は複数の検査装置３へ送信し（ステップＳ３３）、処理を終了する。

＜まとめ＞
以上の構成の本実施の形態に係る情報処理システムでは、情報処理装置１が検査対象物の光の反射率及び光の波長の対応関係の測定情報を取得し、検査対象物の３次元仮想空間における基本３次元モデルを生成し、取得した測定情報に基づいて所定の光の波長におけるテクスチャ画像を生成し、生成したテクスチャ画像を基本３次元モデルに貼り付けて検査対象物の３次元モデルを生成する。情報処理装置１は、生成した３次元モデルを３次元仮想空間にて撮影した２次元の画像を取得し、取得した画像を用いた機械学習により学習モデルを生成する。これにより情報処理システムは、所定の光の波長において特徴が現れる検査対象物について、撮影画像に基づく学習モデルによる分類又は検査等の処理の精度を向上することが期待できる。

また本実施の形態に係る情報処理システムにて生成される学習モデルは、入力された画像に写された検査対象物の異常の有無を判定する又は異常箇所を判定する学習モデルである。これにより情報処理システムは、所定の波長で撮影された画像を学習モデルへ入力し、学習モデルの出力を取得することにより、この画像に写された検査対象物の異常の有無又は異常箇所の判定を精度よく行うことが期待できる。

また本実施の形態に係る情報処理システムでは、情報処理装置１が取得する検査対象物の光の反射率及び光の波長の対応関係の測定情報には、異常を有する検査対象物の測定情報と、異常を有さない検査対象物の測定情報とを含む。これにより情報処理システムは、これらの測定情報に基づいて生成された学習モデルを用いて、検査対象物の異常の有無又は異常箇所を精度よく判定することが期待できる。

また本実施の形態に係る情報処理システムでは、異なる波長を透過する複数の光学フィルタを介して検査対象物を撮影した複数の画像を検査装置３から情報処理装置１が取得し、取得した複数の画像に基づいて検査対象物の光の反射率及び光の波長の対応関係の測定情報を取得する。また情報処理装置１は、撮影に用いられた光学フィルタが透過しない波長に関する光の反射率を線形補完等の補完処理で補完してもよい。これらにより情報処理システムは、検査対象物の光の反射率及び光の波長の対応関係を簡易な測定で取得することが期待できる。

また本実施の形態に係る情報処理システムでは、情報処理装置１が複数の波長についての複数のテクスチャ画像を生成し、生成したテクスチャ画像をそれぞれ貼り付けた複数の波長における複数の３次元モデルを３次元仮想空間にてそれぞれ撮影して、複数の波長における検査対象物の複数の画像を取得する。情報処理装置１は、複数の波長に対応する複数の画像を用いて、波長毎の複数の学習モデルを生成するか、又は、複数の画像を入力として受け付けて出力値を出力する１つの学習モデルを生成する。これにより情報処理装置１は、複数の波長について検査対象物を撮影した撮影画像に基づき、学習モデルを用いて例えば異常の有無又は異常箇所の判定等の処理を行うことが期待できる。

また本実施の形態に係る情報処理システムでは、情報処理装置１が検査対象物の模様の基本テクスチャ画像を生成し、検査対象物の光の反射率及び光の波長の対応関係の測定情報と生成した基本テクスチャ画像とに基づいて、所定の波長におけるテクスチャ画像を生成する。これにより情報処理装置１は、様々な波長に対応したテクスチャ画像を生成することが期待できる。

また本実施の形態に係る情報処理システムでは、情報処理装置１が検査対象物の３次元形状を測定した形状測定情報を取得し、取得した形状測定情報に基づいて検査対象物の３次元モデルを生成する。これにより情報処理システムは、検査対象物の精度のよい３次元モデルを生成することが期待できる。

なお、本実施の形態に係る情報処理システムでは、検査装置３とは異なる装置、即ち情報処理装置１にげ学習用データの生成及び学習モデルの生成等の処理を行っているが、これに限るものではなく、これらの処理の一部又は全部を検査装置３が行ってもよい。

（変形例１）
上述のように検査装置３は、回転フィルタ７に設けられた複数のフィルタ７ａ～７ｆを通して撮影した複数の撮影画像に基づいて、検査対象物の検査を行っている。各フィルタ７ａ～７ｆは所定の波長の光を通過させる光学素子であり、複数のフィルタ７ａ～７ｆはそれぞれ異なる波長の光を通過させる。複数のフィルタ７ａ～７ｆを通してそれぞれ撮影を行うことで検査装置３は、異なる波長の光に基づいて撮影された検査対象物の撮影画像を複数取得することができる。上述の実施の形態において検査装置３は、撮影により得られたこれら複数の撮影画像をそのまま用いて、検査対象物の異常の有無又は異常箇所の判定を行っているが、これに限るものではない。

例えば検査装置３は、異なる波長で撮影された２つの画像について、画素値の差分を算出して差分画像を生成し、生成した差分画像に基づいて検査対象物の異常の有無又は異常箇所の判定を行ってもよい。例えば検査装置３は、赤外線フィルタを通して撮影した画像と、赤色フィルタを通して撮影した画像との差分値、いわゆるＮＤＶＩ（Normalized Difference Vegetation Index）を算出して差分画像を生成し、生成した差分画像を検査に用いることができる。

この場合に情報処理装置１は、複数の波長に対応する複数のテクスチャ画像を生成し、生成した２つのテクスチャ画像の差分値を算出することで差分画像に対応するテクスチャ画像を生成することができる。情報処理装置１は、このテクスチャ画像を用いて差分画像に対応する検査対象物の３次元モデルを生成し、生成した３次元モデルを撮影した検査対象物の２次元画像を取得し、学習用データに含めることができる。

学習モデルは、複数の波長に対応する複数の画像と、上記の差分画像とを含む複数の画像を入力として受け付けて、これらの画像に写された検査対象物の異常の有無又は異常箇所の判定を出力するよう、情報処理装置１により機械学習がなされる。

（変形例２）
上述の本実施の形態に係る情報処理装置１は、測定した光特性情報に基づいてテクスチャ画像を生成し、対象物の基本３次元モデルにテクスチャ画像を貼り付けることで、対象物の３次元モデルを生成しているが、３次元モデルの生成方法はこれに限らない。

例えば情報処理装置１は、ＧＡＮ等の学習モデルを用いて、模様が描かれた対象物の３次元モデルを生成してもよい。情報処理装置１は、生成した３次元モデルの模様の色等を測定した光特性情報に基づいて調整し、複数の光の波長に対応する複数の３次元モデルを生成することができる。情報処理装置１は、生成した３次元モデルを基に、機械学習用の対象物の２次元画像を生成する。

また例えば情報処理装置１は、３次元モデルを生成することなく、ＳｉｎＧＡＮ又はＣｏｎＳｉｎＧＡＮ等の学習モデルを用いて、対象物の２次元画像を生成してもよい。ＳｉｎＧＡＮ及びＣｏｎＳｉｎＧＡＮ等の学習モデルは、対象物の１枚の画像を基に機械学習が行われ、模様が異なる対象物の画像を複数生成することができる。情報処理装置１は、カメラ５及び回転フィルタ７を用いて撮影した対象物の撮影画像をこれらの学習モデルへ入力し、学習モデルが出力する画像を取得することによって、対象物の２次元画像を生成することができる。

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ 情報処理装置（コンピュータ）
３ 検査装置
５ カメラ
７ 回転フィルタ
７ａ～７ｆ フィルタ
１１処理部
１１ａ 光特性情報取得部（測定情報取得部）
１１ｂ テクスチャ画像生成部
１１ｃ ３次元モデル生成部
１１ｄ 学習用データ生成部（画像取得部）
１１ｅ 学習モデル生成部
１１ｆ 学習モデル送信部
１２ 記憶部
１２ａ プログラム（コンピュータプログラム）
１２ｂ 学習用データ記憶部
１２ｃ 学習モデル記憶部
１３ 通信部
３１ 処理部
３１ａ 撮影画像取得部
３１ｂ 異常判定部
３１ｃ 表示処理部
３２ 記憶部
３２ａ プログラム
３２ｂ 学習モデル記憶部
３３ 通信部
３４ 入出力部
３５ 表示部
３６ 操作部
９８，９９ 記録媒体

Claims (12)

1. 情報処理装置が、
   対象物について予め測定した正常箇所及び異常箇所それぞれの光の反射率及び光の波長の対応関係を取得し、
   前記正常箇所及び前記異常箇所の模様が描かれた基本テクスチャ画像を生成し、
   前記対応関係に基づいて所定波長における前記模様の色を算出し、
   算出した前記色で前記基本テクスチャ画像の前記模様を着色したテクスチャ画像を生成し、
   前記対象物の形状を３次元仮想空間に再現した基本３次元モデルを生成し、
   前記基本３次元モデルに前記テクスチャ画像を貼り付けた３次元モデルを生成し、
   生成した前記３次元モデルを３次元仮想空間にて撮影した画像を取得し、
   取得した画像を用いた機械学習により学習モデルを生成する、
   学習モデルの生成方法。
2. 前記情報処理装置が、
   前記画像に写された前記対象物の異常の有無を示すフラグを付した学習用データを生成し、
   前記学習用データを用いた機械学習により学習モデルを生成する、
   請求項１に記載の学習モデルの生成方法。
3. 前記情報処理装置が、
   複数の所定波長における複数のテクスチャ画像を生成し、
   生成した前記テクスチャ画像を前記基本３次元モデルにそれぞれ貼り付けた前記複数の所定波長における複数の３次元モデルを３次元仮想空間にてそれぞれ撮影して、前記複数の所定波長における複数の画像を取得し、
   取得した前記複数の画像に基づき、前記複数の所定波長毎に複数の学習モデルを生成する、
   請求項１又は請求項２に記載の学習モデルの生成方法。
4. 前記情報処理装置が、
   複数の所定波長における複数のテクスチャ画像を生成し、
   生成した前記テクスチャ画像を前記基本３次元モデルにそれぞれ貼り付けた前記複数の所定波長における複数の３次元モデルを３次元仮想空間にてそれぞれ撮影して、前記複数の所定波長における複数の画像を取得し、
   取得した前記複数の画像を用いた機械学習により、前記複数の画像を入力として受け付けて出力値を出力する１つの学習モデルを生成する、
   請求項１又は請求項２に記載の学習モデルの生成方法。
5. 前記情報処理装置が、
   前記対象物の３次元形状を測定した測定結果を取得し、
   取得した前記測定結果に基づいて前記基本３次元モデルを生成する、
   請求項１から請求項４までのいずれか１つに記載の学習モデルの生成方法。
6. 前記学習モデルは、入力された画像に写された前記対象物の異常の有無を判定する、
   請求項１から請求項５までのいずれか１つに記載の学習モデルの生成方法。
7. 前記学習モデルは、入力された画像に写された前記対象物の異常箇所を判定する、
   請求項１から請求項５までのいずれか１つに記載の学習モデルの生成方法。
8. 前記情報処理装置が、
   それぞれが異なる波長を透過する複数の光学フィルタを介して前記対象物をそれぞれ撮影した複数の画像を取得し、
   取得した前記複数の画像に基づいて、前記対象物の光の反射率及び光の波長の対応関係を取得する、
   請求項１から請求項７までのいずれか１つに記載の学習モデルの生成方法。
9. 前記情報処理装置が、取得した光の反射率及び光の波長の対応関係に基づいて、前記光学フィルタが透過しない波長に関する光の反射率を補完処理で補完する、請求項８に記載の学習モデルの生成方法。
10. 情報処理装置が、
    対象物について予め測定した正常箇所及び異常箇所それぞれの光の反射率及び光の波長の対応関係を取得し、
    前記正常箇所及び前記異常箇所の模様が描かれた基本テクスチャ画像を生成し、
    前記対応関係に基づいて所定波長における前記模様の色を算出し、
    算出した前記色で前記基本テクスチャ画像の前記模様を着色したテクスチャ画像を生成し、
    前記対象物の形状を３次元仮想空間に再現した基本３次元モデルを生成し、
    前記基本３次元モデルに前記テクスチャ画像を貼り付けた３次元モデルを生成し、
    生成した前記３次元モデルを３次元仮想空間にて撮影した画像を取得し、
    取得した前記画像を、機械学習に用いる学習用データとする、
    学習用データの生成方法。
11. コンピュータに、
    対象物について予め測定した正常箇所及び異常箇所それぞれの光の反射率及び光の波長の対応関係を取得し、
    前記正常箇所及び前記異常箇所の模様が描かれた基本テクスチャ画像を生成し、
    前記対応関係に基づいて所定波長における前記模様の色を算出し、
    算出した前記色で前記基本テクスチャ画像の前記模様を着色したテクスチャ画像を生成し、
    前記対象物の形状を３次元仮想空間に再現した基本３次元モデルを生成し、
    前記基本３次元モデルに前記テクスチャ画像を貼り付けた３次元モデルを生成し、
    生成した前記３次元モデルを３次元仮想空間にて撮影した画像を取得し、
    取得した画像を用いた機械学習により学習モデルを生成する
    処理を実行させる、コンピュータプログラム。
12. 対象物について予め測定した正常箇所及び異常箇所それぞれの光の反射率及び光の波長の対応関係を取得する対応関係取得部と、
    前記正常箇所及び前記異常箇所の模様が描かれた基本テクスチャ画像を生成する基本テクスチャ画像生成部と、
    前記対応関係に基づいて所定波長における前記模様の色を算出する算出部と、
    算出した前記色で前記基本テクスチャ画像の前記模様を着色したテクスチャ画像を生成するテクスチャ画像生成部と、
    前記対象物の形状を３次元仮想空間に再現した基本３次元モデルを生成する基本３次元モデル生成部と、
    前記基本３次元モデルに前記テクスチャ画像を貼り付けた３次元モデルを生成する３次元モデル生成部と、
    生成した前記３次元モデルを３次元仮想空間にて撮影した画像を取得する画像取得部と、
    取得した画像を用いた機械学習により学習モデルを生成する学習モデル生成部と
    を備える、情報処理装置。

Images