JP2024000211A - 画像推定方法、評価値推定方法、及び画像推定装置 - Google Patents

Abstract

【課題】少ない学習画像であっても推定エンジンの推定性能を高める。【解決手段】画像推定方法は、学習用の対象物を撮像した複数の学習画像fを取得し、前記複数の学習画像fに変換処理を施して複数の変換画像f'を生成し、前記複数の変換画像f'を用いて機械学習型の推定エンジンの内部パラメータを決定し、実際の対象物を撮像した入力画像hを取得し、前記入力画像hに前記変換処理を施して変換画像h'を生成し、前記変換画像h'を学習済みの前記推定エンジンに入力して推定画像H'を推定し、前記変換処理の一部または全ての処理の逆変換処理を前記推定画像H'に施して逆変換推定画像Hを生成し、前記逆変換推定画像Hを出力画像として出力する、各ステップを含む。前記変換処理は、少なくとも一つ以上の変換項目を調整する画像処理により、前記複数の学習画像fのパターンを前記変換項目に関して均一化する。【選択図】図１

Description

本発明は、画像推定方法、評価値推定方法、及び画像推定装置に関する。

近年、Convolutional Neural Network（CNN）に代表される深層ネットワークモデルの提案により、機械学習の性能は飛躍的に向上した。機械学習に基づく推定エンジンを活用した画像処理方法は多く提案されており、例えば外観検査への活用例として、特許文献１では、溶接個所の形状不良を機械学習を用いて自動で検査する方法が開示されている。また、機械学習に基づく画像処理はセマンティックセグメンテーションや認識、画像分類、画像変換、及び画質改善等、多岐にわたる。

例えば入力画像からその高画質画像を推定する画質改善を目的とする場合、推定エンジンの学習は、学習用の評価対象物の画像（学習画像）を入力として推定エンジンから出力される推定画像と、予め教示された正解の推定画像である高画質画像（正解画像）との差分が小さくなるように推定エンジンの内部パラメータ（ネットワークの重み又はバイアス等）を更新する。

入力画像から評価対象物の評価値を推定する画像評価を目的とする場合も、推定エンジンの学習は、画質改善の場合と同様に、学習画像を入力として推定エンジンから出力される推定画像と、予め教示された正解の評価値（正解評価値）との差分が小さくなるように推定エンジンの内部パラメータを更新する。評価値としては、評価対象物の品質レベルや欠陥有無、及び異常度等の評価結果が挙げられる。

国際公開第２０２０／１２９６１７号

前述の機械学習に基づく推定エンジンにおいて、多様なパターンバリエーションを有する入力画像に対して高い推定性能を得るためには、前記パターンバリエーションに見合う大量の画像を学習させる必要がある。

しかしながら、画像撮像は一般に労力を要する作業であり、現実問題として製造ライン等において事前に大量の学習画像を収取することは困難な場合がある。また、推定エンジンに多くのパターンバリエーションを教示した場合、学習負荷が増加し、機械学習において過学習が発生する恐れがある。過学習とは、学習画像に対しては高い性能が得られるが、未学習データに対しては性能が得られず汎化性能が低下する状態である。

本発明は、このような状況に鑑みてなされたものであり、少ない学習画像であっても推定エンジンの推定性能を高めることを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下の通りである。

上記課題を解決するため、本発明の一態様に係る画像推定方法は、コンピュータが実行する画像推定方法であって、学習用の対象物を撮像した複数の学習画像fを取得する第一の学習画像取得ステップと、前記複数の学習画像fに変換処理を施して複数の変換画像f'を生成する第一の変換画像生成ステップと、前記複数の変換画像f'を用いて機械学習型の推定エンジンの内部パラメータを決定する学習ステップと、実際の対象物を撮像した入力画像hを取得する第二の画像取得ステップと、前記入力画像hに前記変換処理を施して変換画像h'を生成する第二の変換画像生成ステップと、前記変換画像h'を学習済みの前記推定エンジンに入力して推定画像H'を推定する推定画像生成ステップと、前記変換処理の一部または全ての処理の逆変換処理を前記推定画像H'に施して逆変換推定画像Hを生成する逆変換推定画像生成ステップと、前記逆変換推定画像Hを出力画像として出力する出力ステップとを含み、前記変換処理は、少なくとも一つ以上の変換項目を調整する画像処理により、前記複数の学習画像fのパターンを前記変換項目に関して均一化する。

本発明によれば、少ない学習画像であっても推定エンジンの推定性能を高めることができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

図１は、第１実施形態に係る外観検査システムが行う全体の処理シーケンスの一例を示す模式図である。 図２は、第１実施形態に係る外観検査システムの入出力画像の一例を示す模式図である。 図３は、変換項目を位置、回転、及び拡大率とした場合の例を模式的に示す図である。 図４は、変換項目を回転及び歪みとした場合の例を模式的に示す図である。 図５Ａは、変換項目を明度とコントラスト、及びノイズとした場合の例を模式的に示す図である。 図５Ｂは、変換項目をシェーディング、及び陰とした場合の例を模式的に示す図である。 図６は、推定エンジンの学習方法の一例について示す模式図（その１）である。 図７は、推定エンジンの学習方法の一例について示す模式図（その２）である。 図８Ａは、GUI(Graphical User Interface)の例を示す模式図（その１）である。 図８Ｂは、GUIの例を示す模式図（その２）である。 図９は、第２実施形態に係る外観検査システムが行う全体の処理シーケンスの一例を示す模式図である。 図１０は、推定エンジンの学習方法の例について示す模式図である。 図１１は、第１実施形態と第２実施形態のそれぞれの外観検査システムのハードウェア構成図である。

以下、本発明に係る一実施形態を図面に基づいて説明する。なお、実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は適宜省略する。また、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合及び原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。

＜第１実施形態＞
＜１．外観検査システムにおける全体の処理シーケンス＞
図１は、本実施形態に係る外観検査システムが行う全体の処理シーケンスの一例を示す模式図である。本実施形態に係る外観検査システムは、画像推定装置の一例であり、画像推定方法を実行する。その画像推定方法は、コンピュータが実行する方法であって、学習用の対象物を撮像した複数の学習画像fを取得する第一の学習画像取得ステップと、前記複数の学習画像fに変換処理を施して複数の変換画像f'を生成する第一の変換画像生成ステップと、前記複数の変換画像f'を用いて機械学習型の推定エンジンの内部パラメータを決定する学習ステップと、実際の対象物を撮像した入力画像hを取得する第二の画像取得ステップと、前記入力画像hに前記変換処理を施して変換画像h'を生成する第二の変換画像生成ステップと、前記変換画像h'を学習済みの前記推定エンジンに入力して推定画像H'を推定する推定画像生成ステップと、前記変換処理の一部または全ての処理の逆変換処理を前記推定画像H'に施して逆変換推定画像Hを生成する逆変換推定画像生成ステップと、前記逆変換推定画像Hを出力画像として出力する出力ステップとを含み、前記変換処理は、少なくとも一つ以上の変換項目を調整する画像処理により、前記複数の学習画像fのパターンを前記変換項目に関して均一化することを特徴とする。また、前記推定エンジンは、画像を入力として、画像復元画像、超解像画像、及び注目領域のいずれかを強調した強調画像を推定することを特徴とする。

前記特徴について詳細を説明する。本実施形態の目的の一つは入力画像からその高画質画像を推定する画質改善である。高画質画像としては、画像のぼやけ又はノイズ等を除去した画像復元画像、画像分解能を向上した超解像画像、パターンエッジや欠陥等の注目領域（Region of interest：ROI）を選択的に強調したROI強調画像、等が挙げられる。超解像処理においては、入力画像と出力画像の画素数が異なってもよい。推定エンジンの学習では、学習用の評価対象物の画像（学習画像）を入力として推定エンジンから出力される推定画像と予め教示された正解の推定画像である高画質画像（正解画像）との差分が小さくなるように推定エンジンの内部パラメータ（ネットワークの重みやバイアス等）を更新する。

図２は、本実施形態に係る外観検査システムの入出力画像の一例を示す模式図である。機械、金属、化学、食品、及び繊維等を含む多くの工業製品において評価対象物の構造と見た目は多様であり、また、そこに発生する欠陥種も多様である。図２（ａ１）～（ｆ１）は評価対象物として大小二つの歯車を撮影した際の入力画像の例であり、欠陥として順に、小さな異物２００、大きな異物２０１、欠け２０２、亀裂２０３、歯車表面の荒れ、歯車輪郭の形状変形が発生している。このような検査画像を基に、異物の付着、内部の欠損や致命度、表面の傷や斑、汚れ、形状不良、組立不良等、様々な出来栄えを評価する外観検査が広く行われている。これらの外観検査の多くは検査員の目視判断により行われており、欠陥視認性の高い高画質画像の取得が求められる。

図２（ａ２）～（ｆ２）は、それぞれ図２（ａ１）～（ｆ１）に対応する高画質画像であり、異物２０４、２０５、欠け２０６、及び亀裂２０７等の欠陥が強調されたり、歯車表面のテクスチャや歯車輪郭（エッジ）が鮮明となっている。本実施形態における外観検査システムでは入力画像として図２（ａ１）～（ｆ１）のいずれかの画像を入力し、出力画像としてそれぞれ２（ａ２）～（ｆ２）の画像を出力するように、内部の推定エンジンを学習する。

図１を参照して、本実施形態における全体の処理シーケンスについて説明する。処理シーケンスは大きく学習フェーズ１００と運用フェーズ１０１に分かれる。

学習フェーズ１００では、外観検査システムが、学習用に評価対象物１０２を撮像して学習画像f（１０４）を取得する（Ｓ１０３）。画像は、CCD(Charge Coupled Device)カメラ、光学顕微鏡、荷電粒子顕微鏡、超音波検査装置、及びX線検査装置等の撮像装置で評価対象物の表面あるいは内部をデジタル映像として撮像することで取得する。なお、「取得」の他の例としては、ほかのシステムで撮像した画像を単に受信して、外観検査システムが有する記憶資源に格納するだけでもよい。また、外観検査システムは1枚ずつ撮像した静止画を処理してもよいし、例えば30fps（frames per second）で連続的に撮像した動画像に対して連続的にリアルタイム処理してもよい。

一般的には、外観検査システムは、学習画像fを学習に用いて推定エンジンの内部パラメータを決定することになる。推定性能の高い推定エンジンを得るには、パターンバリエーションに応じた多くの学習画像ｆを用意し、学習に用いる必要がある。一方、大量の学習画像を収取することは困難な場合がある。これに対し、撮像画像に処理を施して疑似画像を生成し、学習画像を水増しするデータ拡張（Data Augmentation）が知られている。しかしながら、水増し可能な画像バリエーションには限界がある。また、推定エンジンに多くのパターンバリエーションを教示した場合、学習負荷が増加し、機械学習において過学習が発生する恐れがある。

本実施形態では、パターンバリエーションに対して学習画像を網羅的に用意するのではなく、学習時において存在する画像バリエーション自体を減らして、学習画像数や学習負荷を抜本的に減らすことを特徴とする。本実施形態では画像に含まれる情報の中で、機械学習型の推定エンジンに入力すべき情報とそれ以外の情報を分けて考える。例えば、評価対象物の画像上での位置情報が推定エンジンにおける推定と関係がない場合は、学習画像中に位置情報が含まれている必要はないことになる。

そのように推定エンジンで扱う必要のない情報は、外観検査システムが事前に変換処理（変換Tと呼ぶ）を施し（Ｓ１０６）、全ての学習画像間で均一化する（基準値１０８に均一化する）。変換Tを加えた画像を変換画像と呼ぶ。学習フェーズ１００における学習画像ｆの変換画像はf'（１０９）、後述する運用フェーズ１０１における入力画像hの変換画像はh'（１１９）である。

変換Tには複数の変換項目が存在し得るため、変換Tにどの変換項目を含めるかをユーザが事前に選択する（Ｓ１０５）。変換項目の種類に関する詳細は後述するが、例えば評価対象物の位置を変換項目に含める場合、変換Tは、各学習画像において様々な位置に存在する評価対象物を全ての学習画像において同じ位置（基準値）に存在するようにシフトする。

推定エンジンは、評価対象物が全て基準値に位置する変換画像f’（１０９）を入力として、同じく評価対象物が基準値に位置する高画質画像を推定画像F’（１１１）として推定する。変換Tを行わなければ、評価対象物の位置の違いを網羅した学習画像群を用意して学習する必要があるが、変換Tを行うことにより学習画像に評価対象物の位置に関するパターンバリエーションを含める必要がなくなる。外観検査システムは、推定エンジンに変換画像f’を学習させてその推定エンジンの内部パラメータ１１７を決定する（Ｓ１１０）。

運用フェーズ１０１では、外観検査システムが、実際の評価対象物１０２を撮像し（Ｓ１０３）、入力画像h（１１８）を取得する。更に、外観検査システムは、入力画像hに学習フェーズ１００のステップＳ１０５で選択した変換項目を含む変換Tを施し（Ｓ１０６）、変換画像h’（１１９）を得る。そして、外観検査システムは、変換画像h’を学習フェーズ１００で決定した内部パラメータ１１７を用いた推定エンジンに入力し、変換画像h’の高画質画像である推定画像H’（１２１）の推定を行う（Ｓ１２０）。

ただし、変換Tにより均一化した情報の一部または全てが最終的に外観検査システムが出力する出力画像において必要な場合がある。そこで、変換Tの変換項目の中で最終的な出力において必要な変換項目をユーザが選択し（Ｓ１１２）、選択した各変換項目に関する変換Tの逆変換Uを外観検査システムが推定画像H’に施して均一化前の情報を復元する（Ｓ１１３）。

逆変換後の画像を逆変換推定画像H（１２２）と呼び、これが外観検査システムの出力画像となる。例えば、推定エンジンにおいて評価対象物１０２の位置を扱う必要がなければ変換Tによる均一化を行うが、評価対象物１０２の位置がユーザにとって出力画像に必要な情報であれば、推定画像H’において均一化されている評価対象物の位置を変換Uによって入力画像hにおける状態に戻す。

逆変換Uを行うため、変換Tを行う際に、各変換項目に関してどのように変換を行ったか、あるいは変換前の状態がどうであったかの情報を外観検査システムが変換パラメータ１２３として入力画像h毎に保存する。外観検査システムが変換パラメータ１２３を基に逆変換Uを行うことで、画像毎に変換Tによって除外された情報を逆変換Uにより復元することができる。

一般に画像には多くのバリエーションが存在するが、本実施形態では推定エンジンによる処理の前後にそれぞれ変換Tと逆変換Uとを行うことによって、出力画像のバリエーションを犠牲にすることなく、機械学習の負荷のみを部分的に低減することが可能となる。機械学習で扱う画像バリエーション自体を減らすことになるため、学習画像収集のコストや学習負荷に関する問題を抜本的に解決することができる。これにより、少ない学習画像であっても推定エンジンの推定性能を高めることができる。

＜２．変換T、逆変換Uにおける変換項目の例＞
前述の通り、本実施形態では画像に含まれる情報の中で、機械学習型の推定エンジンに入力すべき情報とそれ以外の情報を分けて考え、後者の情報は変換Tによって除外する。また、変換Tによって除外された情報の中で最終的な出力画像において必要な情報は逆変換Uによって復元する。

変換T及び逆変換Uには複数の変換項目１０７、１１４が存在し、また変換T及び逆変換Uにおける変換項目１０７、１１４を何にすべきは、推定エンジンに依存して変化するため、任意の組み合わせが可能である。なお、変換T及び逆変換Uがそれぞれ複数の変換項目を含んでもよい。以降、変換項目１０７、１１４の具体例について説明する。変換項目１０７、１１４の具体例として、位置、回転、反転、拡大率、歪み、画像の明度、画像のコントラスト、ノイズ、シェーディング、及び陰、等が挙げられる。

図３は、変換項目を位置、回転、及び拡大率とした場合の例を模式的に示す図である。

まず、学習フェーズ１００について説明する。図３（ａ１）及び（ｂ１）は、それぞれ学習用の評価対象物を撮像して取得した２枚の学習画像fの一例を示す模式図である。この二枚の画像中の評価対象物は大小二つの歯車であり、各々の構造と大きさは同様であり、かつ付着した異物も同様であるが、評価対象物の画像上での位置ずれ、回転、及び倍率の違いがある。二つの歯車を囲む長方形の点線枠３００、３０１は画像間における評価対象物の位置ずれ、回転、及び倍率の違いを示すための補助線であり、実際の撮像画像には描画されない。

位置ずれ、回転、及び倍率の違いに関する情報が推定エンジンにおける高画質画像の推定に必要な判断材料である場合は、これらの情報を事前に除去するわけにはいかない。一方、これらの情報の違いを推定エンジンで扱う必要がない場合は、変換Tの変換項目として位置ずれ、回転、及び倍率をユーザが選択し、その後に外観検査システムが変換Tを施すことによって、画像上の評価対象物を同じ位置、同じ方向、同じ倍率に均一化する。なお、外観検査システムが自動で変換Tの変換項目を選択してもよい。

図３（ａ２）及び（ｂ２）は、それぞれ図３（ａ１）及び（ｂ１）に示す学習画像fを上記の変換項目に関して均一化した変換画像f’の一例を示す模式図である。

例えば回転に関しては、変換画像ｆ’においては二つの歯車の中心が真横に並ぶ角度を基準値１０８として評価対象物を回転している。勿論、各変換項目に関する基準値１０８は図示した例に限らず、任意に設定可能である。基準値は、外観検査システムが学習画像を基に自動で算出してもよい。この場合は、例えば、複数の学習画像fにおける前述の角度の平均値又は中央値を基準値とし得る。更に、外観検査システムは、複数の学習画像fから１枚を選択し、選択した学習画像fにおける前述の角度を基準値としてもよい。この場合は、選択された学習画像fの状態に他の学習画像の状態が合わせられることになる。あるいは、外観検査システムは、ユーザが入力した基準値を採用してもよい。

また、外観検査システムが、１つの変換項目に関して複数の基準値を設定してもよい。この場合、例えば各学習画像の状態を複数の基準値の中で一番近い状態に合わせる等の処理が考えられる。基準値の数が少ない程、学習画像のバリエーションが削減されることになる。各変換項目に関して均一化された変換画像f’を用いて推定エンジンに学習させることで、学習画像を収集するコストや学習負荷を低減することが可能である。

次に運用フェーズ１０１について説明する。運用フェーズ１０１で使用する２枚の入力画像hは、図３（ａ１）及び（ｂ１）のそれぞれの画像と同じであるとする。学習フェーズ１００と同様に、外観検査システムは、変換Tにより画像上の評価対象物を同じ位置、同じ方向、同じ倍率に均一化した変換画像h’を生成する。その変換画像h’は、それぞれ図３（ａ２）及び（ｂ２）に示す画像となる。次いで、外観検査システムは、学習フェーズにおいて学習済みの推定エンジンに変換画像h’を入力する。推定エンジンは変換画像h’の高画質画像である推定画像H’（図３（ａ３）、（ｂ３））の推定を行う。図３（ａ３）及び（ｂ３）は、推定画像H’の一例を示す模式図である。

しかし、推定画像H’には、入力画像hにおいて存在していた評価対象物の位置ずれ、回転、及び倍率の違いに関する情報が失われている。そこで、外観検査システムは、推定画像H’に対して逆変換Uを施すことによって、変換Tにより除外した情報が復元した逆変換推定画像H（図３（ａ４）、（ｂ４））を生成し、これを出力画像とする。図３（ａ４）、（ｂ４）は、逆変換推定画像Hの一例を示す模式図である。逆変換推定画像Hでは二つの歯車を囲む長方形の点線枠３０９、３１０が入力画像において対応する点線枠３００、３０１と同じになっており、画像毎に異なる位置や方向や倍率の情報が復元されている。

変換項目として倍率を採用すると、実際の評価対象物の大きさが異なっていたとしても、変換Tにより画像上での評価対象物の見た目の大きさを均一化することが可能である。また、図示はしていないが、変換項目として画像の回転だけでなく反転を採用しても、見た目を均一化することが可能である。

図４は、変換項目を回転及び歪みとした場合の例を模式的に示す図である。

運用フェーズ１０１において、外観検査システムは、入力画像h（図４（ａ））に変換Tを施し、画像上の評価対象物の方向や歪みを基準値に変換した変換画像h’（図４（ｂ））を生成し、それを推定エンジンに入力する。推定エンジンは変換画像h’の高画質画像である推定画像H’（図４（ｃ））の推定を行う。この段階では推定エンジンは画像の高画質化のみを行うので、補助線として描画した二つの歯車を囲む長方形の点線枠４０１、４０２は、変換画像h’と推定画像H’の各々で同じである。

図３の例と同様、外観検査システムは、推定画像H’に変換Tの逆変換Uを施すことによって逆変換推定画像H（図４（ｄ））を生成し、これを出力画像とすることができる。図４（ｄ）に示す逆変換推定画像Hにおいては入力画像hにおいて存在していた評価対象物の回転や歪みに関する情報が復元されており、補助線として描画した二つの歯車を囲む長方形の点線枠４００、４０３は両画像間で同じである。

また、処理方法のバリエーションとして、逆変換Uは変換Tの完全な逆変換である必要はない。すなわち、変換Tの変換項目と逆変換Uの変換項目が一致する必要はない。図４（ｂ）の例において変換Tの変換項目は回転と歪みであるが、最終的な出力画像において回転の情報は含みたいが、歪みの情報は含めたくないという場合、逆変換Uの変換項目は回転のみとすることで、回転だけが復元され、歪みは除去された出力画像を得ることができる（図４（ｅ））。歪みは除去されるため、補助線である点線枠４０４は、回転させることで推定画像H’（図４（ｃ））における点線枠４０２と同じになる。

図５Ａは、変換項目を明度とコントラスト、及びノイズとした場合の例を模式的に示す図であり、図５Ｂは、変換項目をシェーディング、及び陰とした場合の例を模式的に示す図である。

なお、変換項目以外の処理の概要と図の意味は図３及び図４と同様である。

図５Ａ（ａ１）～（ａ４）は、変換Tと逆変換Uの各々の変換項目を明度とコントラストとしたときの例である。この場合、撮像条件等によって変化する評価対象物の学習画像又は入力画像（図５Ａ（ａ１））上での見た目の明度とコントラストとを、外観検査システムが変換Tにより基準値に均一化して変換画像ｈ’を得る（図５Ａ（ａ２））。例えば各画像の明度ヒストグラムを、基準とする明度ヒストグラムに一致させる等の処理が考えらえる。また、カラー画像をグレースケール画像に変換する処理も考えらえる。外観検査システムは、変換画像ｈ’を入力として推定エンジンで推定した推定画像H’（５Ａ（ａ３））に逆変換Uを施し、出力画像として逆変換推定画像H（５Ａ（ａ４））を生成する。

図５Ａ（ｂ１）～（ｂ５）は、変換Tと逆変換Uの各々の変換項目をノイズとした例である。この場合、外観検査システムは、学習画像又は入力画像（図５Ａ（ｂ１））に対して変換Tを施すことにより、これらの画像のノイズを均一化して変換画像ｈ’を得る（５Ａ（ｂ２））。図５Ａ（ｂ２）に図示するようにノイズを除去してもよいし、基準となるノイズ量に各画像のノイズレベルを合わせてもよい。出力画像においてノイズが不要な場合は、図５Ａ（ｂ３）に示すノイズが除去された推定画像H’をそのまま出力画像にしてもよい。一般にノイズは高画質画像において不要とされる場合が多いが、画像にノイズが全く重畳していないと不自然に見える場合や、画像毎に重畳したノイズ量の違いを見たいという場合もある。そのような場合は、外観検査システムは、逆変換Uによりノイズを復元した図５Ａ（ｂ４）に示す逆変換推定画像Hを出力画像とすることができる。

また、処理方法のバリエーションとして、逆変換Uは変換Tの完全な逆変換である必要はない。すなわち、変換Tに対して逆変換Uを施す度合い（強度）を変えることが可能である。例えば、図５Ａ（ｂ３）のように出力画像からノイズが完全に消えると不自然だが、図５Ａ（ｂ４）のように出力画像に入力画像と同等のノイズが重畳していると観察しにくいという場合は、外観検査システムは、変換Uにウェイトをかけて、図５Ａ（ｂ５）のように少しだけノイズを復元することも可能である。これはノイズに限らず、全ての変換項目において強度の調整が可能である。

図５Ｂ（ｃ１）～（ｃ５）は、変換Tと逆変換Uの各々の変換項目をシェーディングとした例である。この場合、外観検査システムは、学習画像又は入力画像（図５Ｂ（ｃ１））に対して変換Tを施すことにより、これらの画像のシェーディングを均一化して変換画像ｈ’を得る（図５Ｂ（ｃ２））。図５Ａ（ｂ１）～（ｂ５）のノイズのケースと同様に、シェーディングについてもシェーディングを完全に除去した画像（図５Ｂ（ｃ３））、シェーディングを完全に復元した画像（図５Ｂ（ｃ４））、及びシェーディングを例えば半分の強度で復元した画像（図５Ｂ（ｃ５））のいずれかを外観検査システムが出力画像として生成することが可能である。出力画像においてシェーディングが強く現れると観察し難いが、かといってシェーディングを完全に除去してしまうと不自然な場合もある。例えば動画像に対する高画質画像のリアルタイム表示において、評価対象物と照明との位置関係をずらしたとき等、シェーディングが全く変化しないのは不自然である。そのため、ユーザの希望にあわせて変換Uによる復元の強度は調整可能である。

図５Ｂ（ｄ１）～（ｄ４）は、変換Tと逆変換Uの各々の変換項目を影とした例である。この場合、外観検査システムは、学習画像又は入力画像（図５Ｂ（ｄ１））に対して変換Tを施すことにより、これらの画像の影を除去あるいは均一化して変換画像ｈ’を得る（図５Ｂ（ｄ２））。出力画像において影が不要な場合は、外観検査システムは、図５Ｂ（ｄ３）に示す影が除去された推定画像H’をそのまま出力画像にしてもよい。これに代えて、外観検査システムは、逆変換Uによりノイズを復元した図５Ｂ（ｄ４）に示す逆変換推定画像Hを出力画像としてもよい。

以上、変換項目の具体例を示したが、変換項目はこれらに限らず、画像に含まれる任意のパターンバリエーションに対して設定可能である。例えば、複数の変換項目１０７、１１４のなかから複数の変換項目を選択してもよい。変換Tと逆変換Uにおける変換項目は、推定エンジンにおいてどのようなパターンバリエーションを扱うか、また、主力画像においてユーザがどのような画像を望むかに依存して変化するため、任意の組み合わせを設定することができる（Ｓ１０５、Ｓ１１２）。逆変換Uに含まれる変換項目は、変換Tに含まれる選択項目の一部または全てとなる。

＜３.推定エンジンの学習＞
図６及び図７は、推定エンジンの学習方法の一例について示す模式図である。学習方法は大きく下記（１）及び（２）の二通りが挙げられ、図６（ａ１）～（ａ５）と図７（ａ１）～（ａ５）は（１）に対応し、図６（ｂ１）～（ｂ５）と図７（ｂ１）～（ｂ５）は（２）に対応する。

（１）学習フェーズ１００において、前記変換画像f'を入力として推定エンジンで推定した推定画像F'と、正解画像Gに変換Tを施した変換正解画像G'とを基にして、画像推定エンジンの内部パラメータを決定する。

（２）学習フェーズ１００において、前記変換画像f'を入力として推定エンジンで推定した推定画像F'に逆変換Uを施した逆変換推定画像Fと、学習画像fに対する正解画像Gとを基にして、推定エンジンの内部パラメータを決定する。

推定エンジンの学習は、基本的には学習画像を入力として推定エンジンから出力される推定画像と予め教示された正解画像との差分が小さくなるように、ネットワークの重みやバイアス等の推定エンジンの内部パラメータを更新することによって行う。なお、推定画像と正解画像との差分としては、例えば各画像の画素ごとの画素データの差分を採用し得る。

ただし、本実施形態において推定エンジンから出力されるのは推定画像ではなく、変換推定画像であるため、正解画像と直接比較することができない。そこで（１）では、正解画像に変換処理を施した変換正解画像と変換推定画像とを比較し、（２）では推定画像に逆変換Uを施した逆変換推定画像と正解画像とを比較する。

（１）の具体例として、図６（ａ１）～（ａ５）の学習方法においては、外観検査システムが、学習画像ｆ（図６（ａ１））に変換Tを施し、変換画像f'（図６（ａ２））を得る。次いで、外観検査システムが、この変換画像f'を入力として推定エンジンにより推定画像F'（図６（ａ３））を推定する。また、外観検査システムは、正解画像G（図６（ａ４））に変換Tを施して変換正解画像G'（図６（ａ５））を得る。外観検査システムは、推定画像F'（図６（ａ３））と変換正解画像G'（図６（ａ５））との差分を基に損失値を計算し、前記損失値が小さくなるように推定エンジンの内部パラメータを決定する。

（２）の具体例として、図６（ｂ１）～（ｂ５）の学習方法においては、外観検査システムが、学習画像ｆ（図６（ｂ１））に変換Tを施し、変換画像f'（図６（ｂ２））を得る。外観検査システムは、この変換画像f'を入力として推定エンジンにより推定画像F'（図６（ｂ３）または図1の符号１１１）を推定する。外観検査システムは、推定画像F'に逆変換U（図１のステップＳ１１３）を施して逆変換推定画像F（図６（ｂ４）または図1の符号１１５）を得る。外観検査システムは、逆変換推定画像F（図６（ｂ４））と正解画像G（図６（ｂ５））との差分を基に損失値を計算し、前記損失値が小さくなるように推定エンジンの内部パラメータを決定する。

上述の本実施形態において学習は画像間の差分に基づく損失値の最小化により行ったが、学習は敵対的生成ネットワーク（Generative Adversarial Network：GAN）によって行ってもよい。GANは生成ネットワーク（Generator）、識別ネットワーク（Discriminator）と呼ばれる２つの競合するネットワークから成る。GANを用いることにより、推定画像と正解画像の位置合わせができていないケースであっても学習が可能である。また、図７に示すように推定画像と正解画像の評価対象物が異なっていても、推定画像は正解画像の画質になるように学習することができる。

すなわち、GANを用いた（１）の具体例として、図７（ａ１）～（ａ５）の学習方法においては、外観検査システムが、学習画像ｆ（図７（ａ１））に変換Tを施し、変換画像f'（図７（ａ２））を得る。外観検査システムは、この変換画像f'を入力として推定エンジン（Generator）により推定画像F'（図７（ａ３）または図１の符号１１１）を推定する。また、外観検査システムは、正解画像G（図７（ａ４））に変換Tを施して変換正解画像G'（図７（ａ５））を得る。外観検査システムは、推定画像F'（図７（ａ３））が変換正解画像G'（図７（ａ５））と同種のものであるかの判別をDiscriminatorを用いて行い、同種ではないと判別された場合、損失値を大きくする。Generatorは推定画像F'が変換正解画像G'と同種の画像になるように学習され、Discriminatorは推定画像F'が変換正解画像G'と同種ではないと見破るように学習される。この敵対的な学習を繰り返すことによって推定エンジンの推定精度が向上する。

GANを用いた（２）の具体例として、図７（ｂ１）～（ｂ５）の学習方法においては、外観検査システムが、学習画像ｆ（図７（ｂ１））に変換Tを施し、変換画像f'（図７（ｂ２））を得る。外観検査システムは、この変換画像f'を入力として推定エンジン（Generator）により推定画像F'（図７（ｂ３）または図1の符号１１１）を推定する。外観検査システムは、推定画像F'に逆変換U（図１中のステップＳ１１３）を施して逆変換推定画像F（図７（ｂ４）または図１の符号１１５）を得る。外観検査システムは、逆変換推定画像F（図７（ｂ４））が正解画像G（図７（ｂ５））と同種のものであるかの判別をDiscriminatorを用いて行い、同種ではないと判別された場合、損失値を大きくする。Generatorは逆変換推定画像Fが正解画像Gと同種の画像になるように学習され、Discriminatorは逆変換推定画像Fを正解画像Gと同種ではないと見破るように学習される。この敵対的な学習を繰り返すことによって推定エンジンの推定精度が向上する。

＜４.GUI (Graphical User Interface)＞
本実施形態に係る外観検査システムは、ユーザからの前記変換処理の変換項目および前記逆変換処理の変換項目を含む推定エンジンの学習方法の指定を受け付けるGUIを有することを特徴とする。

図８Ａ及び図８Ｂは、GUIの例を示す模式図である。推定エンジンの学習時に図６（ａ１）～（ａ５）又は図７（ａ１）～（ａ５）のように「推定画像F'と変換正解画像G'とを比較」するか、あるいは図６（ｂ１）～（ｂ５）又は図７（ｂ１）～（ｂ５）のように「逆変換推定画像Fと正解画像Gとを比較」するかをユーザがラジオボタン８００で指定することができる。画像の比較方法は「比較画像間の差分」（図６）か、あるいは「GAN」（図７）を用いるかをラジオボタン８０１でユーザが指定することができる。ユーザがプルダウンメニュー８０２で学習データのIDを指定することで、そのIDに対応付けられた学習画像f、変換画像f’、推定画像F’、逆変換推定画像F、正解画像G、変換正解画像G'の一部または全てを画像表示領域８０３に表示することができる。このように学習画像fだけでなく、変換画像f’、推定画像F’、逆変換推定画像F、正解画像G、変換正解画像G'を表示することで、どのような処理がなされたかをユーザが知ることができる。

図示したのは学習フェーズ１００の画像群であるが、運用フェーズ１０１における入力画像h、変換画像h’、推定画像H’、逆変換推定画像（出力画像）Hの一部または全ても同様に表示することができる。変換Tおよび逆変換Uにおける変換項目と変換方法とを変換指定領域８０４で指定することができる。変換Tの変換項目をチェックボックス８０５で指定することができ、指定した変換項目について基準値の設定方法をラジオボタン８０６で指定することができる。

ラジオボタン８０６で指定できる項目には、「基準値を自動算出」、「ID〇〇の画像に合わせる」、及び「基準値を指定」の各項目がある。基準値が位置である場合に「基準値を自動算出」にチェックが入ると、外観検査システムは、例えば複数の入力画像fの中心位置の平均位置を基準値として算出する。また、「ID〇〇の画像に合わせる」にチェックが入ると、外観検査システムは、指定されたID「〇〇」に対応付けられた入力画像fの中心位置を基準値として算出する。「基準値を指定」にチェックが入ると、外観検査システムは、基準値の入力を促す画面を表示し、その画面にユーザが入力した値を基準値として採用する。

更にユーザは逆変換Uの変換項目をチェックボックス８０７で指定することができ、指定した変換項目毎の強度を強度指定領域８０８で指定することができる。外観検査システムは、指定された強度を受け付け、その強度で逆変換Uを実行する。

＜第２実施形態＞
＜５.外観検査システムによる評価値推定＞
第１実施形態において、外観検査システムの目的は入力画像からその高画質画像を推定する画質改善であったが、本発明はこれに限定されるものではない。第２実施形態において、外観検査システムの目的は、入力画像からその評価値を推定する画像評価である。評価値の例として、外観検査であれば評価値は評価対象物の品質レベル、欠陥有無、異常度、及び致命度等のいずれかの検査結果であり、セグメンテーションであれば評価値は領域のラベルであり、欠陥検出であれば評価値は欠陥領域である。

本実施形態に係る外観検査システムは、評価値推定装置の一例であり、評価値推定方法を実行する。その評価値推定方法は、コンピュータが実行する方法であって、学習用の対象物を撮像した複数の学習画像fを取得する第一の学習画像取得ステップと、前記複数の学習画像fに変換処理を施して複数の変換画像f'を生成する第一の変換画像生成ステップと、前記複数の変換画像f'を用いて機械学習型の推定エンジンの内部パラメータを決定する学習ステップと、実際の対象物を撮像した入力画像hを取得する第二の画像取得ステップと、入力画像hに前記変換処理を施して変換画像h'を生成する第二の変換画像生成ステップと、前記変換画像h'を学習済みの前記推定エンジンに入力して推定評価値R'を推定する推定評価値算出ステップと、前記変換処理の一部又は全ての処理に関する前記入力画像hの値と前記推定評価値R'を基に第二の推定評価値Rを推定する第二の推定評価値算出ステップと、前記第二の推定評価値Rを出力値として出力する出力ステップを含み、前記変換処理は、少なくとも一つ以上の変換項目を調整する画像処理により、前記複数の学習画像fのパターンを前記変換項目に関して均一化することを特徴とする。

前記特徴について詳細を説明する。図９は、本実施形態に係る外観検査システムが行う全体の処理シーケンスの一例を示す模式図である。処理シーケンスは大きく学習フェーズ９００と運用フェーズ９０１に分かれる。学習フェーズ９００では、外観検査システムが、学習用に評価対象物９０２を撮像して学習画像f（９０４）を取得する（Ｓ９０３）。図１に示す第１実施形態と同様、本実施形態では画像に含まれる情報の中で、機械学習型の推定エンジンに入力すべき情報とそれ以外の情報を分けて考える。推定エンジンで扱う必要のない情報は、外観検査システムが事前に変換処理（変換Tと呼ぶ）を施し（Ｓ９０６）、全ての学習画像間で均一化する（基準値９０８に均一化する）。変換Tを加えた画像を変換画像と呼ぶ。学習フェーズにおける学習画像ｆの変換画像はf'（９０９）、後述する運用フェーズにおける入力画像hの変換画像はh'（９１９）である。

変換Tには複数の変換項目９０７が存在しうるため、変換Tにどの変換項目９０７を含めるかをユーザが事前に選択する（Ｓ９０５）。例えば評価対象物の位置を変換項目９０７に含める場合、各学習画像において様々な位置に存在する評価対象物を全ての学習画像において同じ位置（基準値）に存在するようにシフトする。推定エンジンは、評価対象物が全て基準値に位置する変換画像f’（９０９）を入力として、推定評価値P’（９１１）を推定する。変換Tを行わなければ、評価対象物の位置の違いを網羅した学習画像群を用意して学習する必要があるが、変換Tを行うことにより学習画像に評価対象物の位置に関するパターンバリエーションを含める必要がなくなる。外観検査システムは、機械学習型の推定エンジンに変換画像f'を学習させてその推定エンジンの内部パラメータ９１７を決定する（Ｓ９１０）。

運用フェーズ９０１では、外観検査システムが、実際の評価対象物９０２を撮像し（Ｓ９０３）、入力画像h（９１８）を取得する。更に、外観検査システムは、入力画像hに学習フェーズ９００のステップＳ９０５で選択した変換項目を含む変換Tを施し（Ｓ９０６）、変換画像h’（９１９）を得る。そして、外観検査システムは、変換画像h'を学習フェーズ９００で決定した内部パラメータ９１７を用いた機械学習型の推定エンジンに入力し、変換画像h'の推定評価値R’（９２１）の推定を行う（Ｓ９２０）。

ただし、変換Tにより均一化した情報の一部または全てが最終的に外観検査システムが出力する出力値の推定において必要な場合がある。そこで、外観検査システムは、各変換項目９０７に関してどのように変換を行ったか、あるいは変換前の状態がどうであったかの情報を変換パラメータ９２３として入力画像h毎に保存しておく。変換Tの変換項目の中で最終的な出力において必要な変換項目９１４をユーザが選択し（Ｓ９１２）、選択した各変換項目に関する変換パラメータ９２３と推定評価値R’（９２１）から第二の推定評価値R（９２２）を第二の推定エンジンにより推定する（Ｓ９１３）。この第二の推定評価値Rが画像処理システムの出力値となる。

例えば変換Tの変換項目９０７が評価対象物の位置である場合を考える。機械学習型の推定エンジンで評価値を推定するステップＳ９２０において評価対象物の位置を扱う必要がなければ、外観検査システムは、変換Tによる均一化を行う。推定評価値が評価対象物の異常度であり、推定エンジンにおいて扱う異常度の判定基準が評価対象物の入力画像中のコントラストの変化であるならば、推定エンジンに入力する画像に位置のバリエーションが含まれる必要はない。

一方、最終的な異常判定においては変換Tで除外した位置情報も加味する場合がありうる。すなわち、コントラストの変化に加えて、評価対象物が大きく位置ずれしている場合も異常とみなされる場合は、推定エンジンで評価値を推定するステップＳ９２０で扱ったコントラストに関する推定評価値R'（９１１）と、変換パラメータ９２３に含まれる位置情報とを基に、外観検査システムが第二の推定エンジンで第二の推定評価値R（９２２）を推定し（Ｓ９１３）、最終的な出力値とする。第二の推定評価値Rには、コントラスト変化、位置ずれ、いずれの異常も反映することができる。

一方、変換Tによって一時的にいくつかの変換項目９０７に関する情報を除外することで、学習画像数や機械学習における学習負荷を削減することが可能である。これにより、少ない学習画像であっても推定エンジンの推定性能を高めることができる。

＜６.推定エンジンの学習＞
図１０は、推定エンジンの学習方法の例について示す模式図である。学習方法は大きく下記（１）及び（２）の二通りが挙げられ、図１０（ａ１）～（ａ５）は（１）に対応し、図１０（ｂ１）～（ｂ５）は（２）に対応する。

（１）学習フェーズ９００において、前記変換画像f'を入力として推定エンジンで推定評価値P'を推定する。第二の正解評価値Sと変換パラメータから推定評価値の正解値S'を推定する。推定評価値P'と推定評価値の正解値S'とを基に画像推定エンジンの内部パラメータを決定する。

（２）学習フェーズ９００において、前記変換画像f'を入力として推定エンジンが評価値P'を推定する。評価値P'と変換パラメータ９２３とを入力として第二の推定エンジンが第二の推定評価値P（９１５）を推定する。第二の推定評価値P（９１５）と第二の推定評価値の正解値Sとを基に推定エンジンの内部パラメータを決定する。

推定エンジンの学習は、基本的には学習画像を入力として推定エンジンから出力される推定評価値と予め教示された正解評価値（第二の推定評価値の正解値）との差分が小さくなるように、ネットワークの重みやバイアス等の推定エンジンの内部パラメータを更新することによって行う。

ただし、本実施形態において推定エンジンから出力されるのはユーザが教示する学習画像fに対する評価値ではなく、変換画像f'に対する評価値であるため、ユーザの与える第二の推定評価値の正解値と直接比較することができない。そこで（１）では、第二の推定評価値の正解値Sから推定した推定評価値の正解値S'と推定評価値P'とを比較し、（２）では推定評価値P'から推定した第二の推定評価値Pと第二の推定評価値の正解値Sとを比較する。

（１）の具体例として、図１０（ａ１）～（ａ５）の学習方法においては、外観検査システムが、学習画像ｆ（図１０（ａ１））に変換Tを施し、変換画像f'（図１０（ａ２））を得る。ここで一例として、変換Tの変換項目を歯車表面のテクスチャとし、学習画像間で均一化する。図１０（ａ２）ではテクスチャを除去し無地のパターンに変換している。外観検査システムは、この変換画像f'を入力として推定エンジンにより推定評価値P'（図１０（ａ３）または図９の符号９１１）を推定する。評価値として、例えば評価対象物（歯車）の異常度とする。テクスチャ情報は均一化されているため、ステップＳ９１０では推定エンジンがテクスチャ以外の判定基準で異常度を推定する。例えば変換画像f'（図１０（ａ２））には異物１０００が付着しているため、異常度は45％と推定されている。

一方、ユーザは変換前の学習画像f（図１０（ａ１））に対して正解値（第二の推定評価値の正解値S）を外観検査システムに付与している。ユーザの異常度の判定基準として、異物の有無に加え、テクスチャ（歯車表面の荒れ）も加味している場合、学習画像ｆにおいては異物の付着に加え、歯車表面も荒れているため、異常度は80％（図１０（ａ４））と高くなる。この第二の推定評価値の正解値S（異常度80％）に対し、変換パラメータ（この場合、テクスチャ情報）を加味して、前記異常度からテクスチャ単独による異常度を除外した場合の異常度（推定評価値の正解値S'）を推定する。歯車表面の荒れによる異常度の増加を差し引き、異物単独による異常度を推定すると例えば50％（図１０（ａ５））となる。外観検査装置は、推定評価値P'（図１０（ａ３））と推定評価値の正解値S'（図１０（ａ５））との差分を基に損失値を計算し、前記損失値が小さくなるように推定エンジンの内部パラメータを決定する。

（２）の具体例として、図１０（ｂ１）～（ｂ５）の学習方法においては、外観検査システムが、学習画像ｆ（図１０（ｂ１））に変換Tを施し、変換画像f'（図１０（ｂ２））を得る。外観検査システムは、この変換画像f'を入力として推定エンジンにより推定評価値P'（図１０（ｂ３）または図９の符号９１１）を推定する。上記（１）の場合と同様、変換Tの変換項目を歯車表面のテクスチャとし、評価値を評価対象物（歯車）の異常度とした場合、前記推定評価値P'にはテクスチャに基づく異常度が加味されていないことになる。

そこで、外観検査システムは、ステップＳ９１３において、推定評価値P'と変換パラメータ９２３（この場合、テクスチャ情報）とを基に第二の推定エンジンによる第二の推定評価値P（図１０（ｂ４））の推定を行う。これにより、ユーザは、変換前の学習画像f（図１０（ｂ１））に対して付与した図１０（ｂ５）の正解値（第二の推定評価値の正解値S）との比較が可能になる。すなわち、外観検査システムは、第二の推定評価値P（図１０（ｂ４））と第二の推定評価値の正解値S（図１０（ｂ５））との差分を基に損失値を計算し、前記損失値が小さくなるように推定エンジンの内部パラメータを決定する。

第２実施形態では、推定するものが画像から評価値になったという点で第１実施形態と違いはあるものの、変換項目、学習方法、GUI等は第１実施形態と同様である。

また、第１実施形態と第２実施形態のそれぞれにおける推定エンジンには様々な機械学習型のエンジンを用いることができるが、例えばConvolutional Neural Network（CNN）に代表される深層ニューラルネットワークや、Support Vector Machine（SVM）、Support Vector Regression（SVR）、及びk-nearest neighbor（k-NN）等が挙げられる。これらの推定エンジンは、画像推定、領域セグメンテーション、分類問題、及び回帰問題を扱うことができる。

＜７．画像処理システムのハードウェア構成＞
図１１は、第１実施形態と第２実施形態のそれぞれの外観検査システムのハードウェア構成図である。

外観検査システム１は、前述の撮像装置１１０６と計算機１１００とを備える。撮像装置１１０６の例はすでに説明した通りである。

計算機１１００は、第１実施形態の画像推定方法と第２実施形態の評価値推定方法を実行するハードウェアであり、以下を有する。

＊プロセッサ１１０１：プロセッサ１１０１の例としてはCPU(Central Processing Unit)、GPU(Graphical Processing Unit)、及びFPGA(Field Programable Gate Array)があるが、画像処理方法を処理できるのであれば、ほかのハードウェアであってもよい。

＊記憶資源１１０２：記憶資源１１０２の例としてはRAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、及びフラッシュメモリ等の不揮発メモリがある。当該記憶資源は、以上の各実施形態にて説明した画像推定方法と評価値推定方法とをプロセッサ１１０１に実行させるプログラムを格納してもよい。

＊GUI装置１１０３：ＧＵＩ装置１１０３の例としては、ディスプレイ及びプロジェクタ等があるが、GUIを表示ができるのであれば、ほかのハードウェアでもよい。

＊入力装置１１０４：入力装置１１０４の例としては、キーボード、マウス、及びタッチパネルがあるが、ユーザからの操作を受け付けることができれば他の装置でもよい。また、入力装置１１０４とGUI装置１１０３とは一体のハードウェアであってもよい。

＊通信インターフェース装置１１０５：通信インターフェース装置１１０５の例としては、USB(Universal Serial Bus)、Ethernet、及びWi-Fiといった例がある。撮像装置１１０６から画像を直接受信できたり、又はユーザが当該画像を計算機１１００に送信できるインターフェースであれば、ほかのインターフェース装置であってもよい。また、当該通信インターフェース装置１１０５に、当該画像を格納した不図示の可搬不揮発記憶媒体を接続し、計算機１１００に当該画像を格納してもよい。そのような可搬不揮発記憶媒体としては、例えばフラッシュメモリ、DVD(Digital Versatile Disc)、CD-ROM(Compact Disc)、及びブルーレイディスク等がある。

以上が計算機１１００のハードウェア構成である。なお、外観検査システムを構成する計算機１１００は複数であってもよく、撮像装置１１０６が複数であってもよい。

なお、前述のプログラムは、以下の経路で計算機１１００に格納されてもよい：
＊プログラムを可搬不揮発記憶媒体に格納し、当該媒体を通信インターフェース装置１１０５に接続することで、当該プログラムを計算機１１００に配布する。

＊プログラム配信サーバによりプログラムを計算機１１００に配信する。なお、プログラム配信サーバは、プログラムを格納した記憶資源と、プログラムを配信する配信処理を行うプロセッサと、計算機１１００の通信インターフェース装置１１０５と通信可能である通信インターフェース装置とを有する。

以上で実施形態の説明を終える。前述の通り、これまで説明した実施形態は特許請求の範囲に係る発明を限定するものではなく、また、実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

なお、各実施形態では入力情報として一枚の入力画像を扱ったが、入力画像が複数枚、出力画像あるいは推定評価値も複数種類の場合も各実施形態を適用することが可能である。この場合は、推定エンジンが他入力又は他出力となる。

本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

本発明は、上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現されてもよい。各機能を実現するプログラム、判定テーブル、ファイル等の情報は、メモリや、HDD、SSD等の記憶装置、または、IC(Integrated Circuit)カード、SD(Secure Digital)カード、DVD等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００、９００…学習フェーズ、１０１、９０１…運用フェーズ、１０２、９０２…評価対象物、１０４、９０４…学習画像、１０７、１１４、９０７、９１４…変換項目、１０８、９０８…基準値、１１７、９１７…内部パラメータ、１０９、９０９…変換画像、１１１…推定画像、１１５…逆変換推定画像、１１８、９１８…入力画像、１１９、９１９…変換画像、１２１…推定画像、１２２…逆変換推定画像、１２３、９２３…変換パラメータ、２００…異物、２０１…異物、２０３…亀裂、２０４、２０５、１０００…異物、２０７…亀裂、３００、３０１、３０９、３１０、４００～４０４…点線枠、８００、８０１…ラジオボタン、８０２…プルダウンメニュー、８０３…画像表示領域、８０４…変換指定領域、８０５、８０７…チェックボックス、８０６…ラジオボタン、８０８…強度指定領域、９１１、９２１…推定評価値、９１５、９２２…第二の推定評価値、１１００…計算機、１１０１…プロセッサ、１１０２…記憶資源、１１０３…GUI装置、１１０４…入力装置、１１０５…通信インターフェース装置、１１０６…撮像装置。

Claims (15)

1. コンピュータが実行する画像推定方法であって、
   学習用の対象物を撮像した複数の学習画像fを取得する第一の学習画像取得ステップと、
   前記複数の学習画像fに変換処理を施して複数の変換画像f'を生成する第一の変換画像生成ステップと、
   前記複数の変換画像f'を用いて機械学習型の推定エンジンの内部パラメータを決定する学習ステップと、
   実際の対象物を撮像した入力画像hを取得する第二の画像取得ステップと、
   前記入力画像hに前記変換処理を施して変換画像h'を生成する第二の変換画像生成ステップと、
   前記変換画像h'を学習済みの前記推定エンジンに入力して推定画像H'を推定する推定画像生成ステップと、
   前記変換処理の一部または全ての処理の逆変換処理を前記推定画像H'に施して逆変換推定画像Hを生成する逆変換推定画像生成ステップと、
   前記逆変換推定画像Hを出力画像として出力する出力ステップとを含み、
   前記変換処理は、少なくとも一つ以上の変換項目を調整する画像処理により、前記複数の学習画像fのパターンを前記変換項目に関して均一化する、
   画像推定方法。
2. 請求項１に記載の画像推定方法であって、
   前記推定エンジンは、画像を入力として、画像復元画像、超解像画像、及び注目領域を強調した強調画像のいずれかを推定する、
   画像推定方法。
3. 請求項１に記載の画像推定方法であって、
   前記変換項目は、位置、回転、反転、拡大率、歪み、画像の明度、画像のコントラスト、画像のノイズ、画像のシェーディング、及び陰の少なくとも一つ以上を含む、
   画像推定方法。
4. 請求項１に記載の画像推定方法であって、
   前記コンピュータは、前記変換項目に関する基準値を前記複数の学習画像fから求め、前記均一化は、前記各学習画像fにおける前記変換項目の値を前記基準値に変換することによって行う、
   画像推定方法。
5. 請求項１に記載の画像推定方法であって、
   前記コンピュータは、前記変換項目毎に前記逆変換処理を施す度合いの指定を受け付け、前記度合いで前記変換項目毎の逆変換処理を行う、
   画像推定方法。
6. 請求項１に記載の画像推定方法であって、
   前記学習ステップにおいて、前記コンピュータは、前記変換画像f'を入力として前記推定エンジンで推定した推定画像F'と正解画像Gに前記変換処理を施した変換正解画像G'とを基に前記推定エンジンの内部パラメータを決定する、
   画像推定方法。
7. 請求項１に記載の画像推定方法であって、
   前記学習ステップにおいて、前記コンピュータは、前記変換画像f'を入力として前記推定エンジンで推定した推定画像F'に逆変換処理を施した逆変換推定画像Fと学習画像fに対する正解画像Gとを基に前記推定エンジンの内部パラメータを決定する、
   画像推定方法。
8. 請求項１に記載の画像推定方法であって、
   前記コンピュータは、ユーザからの前記変換処理の前記変換項目および前記逆変換処理の変換項目の指定を受け付けるGUI(Graphical User Interface)を表示するステップを行う、
   画像推定方法。
9. コンピュータが実行する評価値推定方法であって、
   学習用の対象物を撮像した複数の学習画像fを取得する第一の学習画像取得ステップと、
   前記複数の学習画像fに変換処理を施して複数の変換画像f'を生成する第一の変換画像生成ステップと、
   前記複数の変換画像f'を用いて機械学習型の推定エンジンの内部パラメータを決定する学習ステップと、
   実際の対象物を撮像した入力画像hを取得する第二の画像取得ステップと、
   入力画像hに前記変換処理を施して変換画像h'を生成する第二の変換画像生成ステップと、
   前記変換画像h'を学習済みの前記推定エンジンに入力して推定評価値R'を推定する推定評価値算出ステップと、
   前記変換処理の一部又は全ての処理に関する前記入力画像hの値と前記推定評価値R'を基に第二の推定評価値Rを推定する第二の推定評価値算出ステップと、
   前記第二の推定評価値Rを出力値として出力する出力ステップを含み、
   前記変換処理は、少なくとも一つ以上の変換項目を調整する画像処理により、前記複数の学習画像fのパターンを前記変換項目に関して均一化する、
   評価値推定方法。
10. プロセッサを備える画像推定装置であって、
    前記プロセッサは、
    学習用の対象物を撮像した複数の学習画像fを取得する第一の学習画像取得ステップと、
    前記複数の学習画像fに変換処理を施して複数の変換画像f'を生成する第一の変換画像生成ステップと、
    前記複数の変換画像f'を用いて機械学習型の推定エンジンの内部パラメータを決定する学習ステップと、
    実際の対象物を撮像した入力画像hを取得する第二の画像取得ステップと、
    前記入力画像hに前記変換処理を施して変換画像h'を生成する第二の変換画像生成ステップと、
    前記変換画像h'を学習済みの前記推定エンジンに入力して推定画像H'を推定する推定画像生成ステップと、
    前記変換処理の一部または全ての処理の逆変換処理を前記推定画像H'に施して逆変換推定画像Hを生成する逆変換推定画像生成ステップと、
    前記逆変換推定画像Hを出力画像として出力する出力ステップとを含む処理を実行し、
    前記変換処理は、少なくとも一つ以上の変換項目を調整する画像処理により、前記複数の学習画像fのパターンを前記変換項目に関して均一化する、
    画像推定装置。
11. 請求項１０に記載の画像推定装置であって、
    前記推定エンジンは、画像を入力として、画像復元画像、超解像画像、及び注目領域を強調した強調画像を推定する、
    画像推定装置。
12. 請求項１０に記載の画像推定装置であって、
    前記変換項目は、位置、回転、反転、拡大率、歪み、画像の明度、画像のコントラスト、画像のノイズ、画像のシェーディング、及び陰の少なくとも一つ以上の変換項目を含む、
    画像推定装置。
13. 請求項１０に記載の画像推定装置であって、
    前記プロセッサは、前記変換項目に関する基準値を前記複数の学習画像fから求め、前記均一化は、前記各学習画像fにおける前記変換項目の値を前記基準値に変換することによって行う、
    画像推定装置。
14. 請求項１０に記載の画像推定装置であって、
    前記プロセッサは、前記変換項目毎に前記逆変換処理を施す度合いの指定を受け付け、前記度合いで前記変換項目毎の逆変換処理を行う、
    画像推定装置。
15. 請求項１０に記載の画像推定装置であって、
    前記プロセッサは、ユーザからの前記変換処理の前記変換項目および前記逆変換処理の前記変換項目の指定を受け付けるGUIを表示する制御を行う、
    画像推定装置。

Images