JP7372072B2 - 画像処理装置、画像処理方法、画像処理プログラム、および画像検査システム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム、および画像検査システムに関し、特に画像の品質を評価する技術に関する。

近年、深層学習をはじめとする機械学習を用いた画像認識により、製品の外観検査や品質検査を自動化する画像検査システムの開発が進んでいる。このような画像検査システムを構築する場合には、事前に一定数の良品および不良品の画像を用意し、良品および不良品の画像の特徴量を学習して、判別モデルを構築する必要がある。

機械学習を用いた画像検査システムにおいて、より高精度な判別モデルを構築するためには、良品や不良品など製品の状態がより鮮明に写った画像を用いることが有効的であると考えられる。しかし、日々の製造システムの運用によって蓄積される大量の製品の画像の中には、製品撮影時のブレ、設備の振動、製品の公差などの影響によって、画像のピントが合っていないような、学習用の画像としては除外することが望ましい画像が混在している場合がある。また、画像にボケが生じているような画像が学習用の画像として用いられた場合、判別モデルの精度低下を招く恐れがある。

従来から、学習用の画像の選定処理として、製品の状態が鮮明に写っていない画像を除外する場合には、人が画像を１枚ずつ確認し、手作業で選別する方法が用いられていた。しかし、従来の手作業による画像の選定は、時間や労力が過大である。また、目視などによって画像の品質を評価する際の指標となる基準を定量的に設けることが困難であった。

そこで、製品の画像の品質を評価する画像処理として、例えば、特許文献１は、画像に対してデコンボリューションを行い、より鮮明にされた画像と元の画像とを比較して対象の元の画像の品質を推定する技術を開示している。また、特許文献２は、複数の画像に対してフーリエ変換を行い、高周波成分の分布を比較して、相対的に高い画像の品質を有する画像を抽出する技術を開示している。また、学習用の画像を選別するために別途、画像の品質判定モデルを構築することも考えられる。

特許第５６２４９７５号公報 特開２００６－０８５２５８号公報

しかし、特許文献１に記載の技術では、撮影された画像の品質をデコンボリューションで評価する際に適切な関数設定が必要となり、撮影環境ごとに適した準備が必要となる。また、特許文献２に記載の技術では、複数の画像における高周波成分の分布を比較する場合に、撮影対象の製品の外観が比較的大きく変化していると、画像の品質の評価が困難となる場合がある。また、学習用の画像を選定するための別途の画像の品質判定モデルを構築する場合には、いったん画像の品質判定モデルを構築してしまうと、その後に画像のサイズを変更した場合において、サイズ変更を考慮した画像の品質の評価が困難となる。

このように、従来の技術では、機械学習を用いた画像検査システムにおける判別モデルを構築するために、画像の品質を評価して学習用の画像を選定することが困難であった。

本発明は、上述した課題を解決するためになされたものであり、学習用の画像を選定するために、より容易に画像の品質を評価することができる画像処理技術を提供することを目的とする。

上述した課題を解決するために、本発明に係る画像処理装置は、撮像装置から取得された画像を、空間周波数領域のスペクトルに変換するように構成された変換部と、前記変換部によって変換されたスペクトルに対して、変曲点を示すパラメータを有する非線形モデルを適用するように構成されたモデル適用部と、前記非線形モデルが適用された前記スペクトルから、変曲点の値を抽出するように構成された抽出部と、変曲点の値に対して設定された基準に基づいて、抽出された前記変曲点の値を有する前記画像の品質を示す評価値を求めて出力するように構成された評価値算出部とを備える。

また、本発明に係る画像処理装置において、前記評価値に対して設定されたしきい値に基づいて、前記評価値を有する前記画像の良否を判定するように構成された判定部と、前記判定部によって良と判定された画像を格納するように構成された記憶部とをさらに備えていてもよい。

また、本発明に係る画像処理装置において、前記判定部によって否と判定された画像に対して復元処理を行うように構成された復元処理部をさらに備えていてもよい。

また、本発明に係る画像処理装置において、前記画像と、前記評価値算出部によって求められた前記評価値に関する情報とを表示画面に表示するように構成された表示装置をさらに備えていてもよい。

また、本発明に係る画像処理装置において、前記表示装置は、前記画像ごとの前記評価値を、前記画像とともに前記表示画面に表示させてもよい。

上述した課題を解決するために、本発明に係る画像処理方法は、対象物の画像を取得する第１ステップと、前記第１ステップで取得された前記画像を、空間周波数領域のスペクトルに変換する第２ステップと、前記第２ステップで変換されたスペクトルに対して、変曲点を示すパラメータを有する非線形モデルを適用する第３ステップと、前記非線形モデルが適用された前記スペクトルから、変曲点の値を抽出する第４ステップと、変曲点の値に対して設定された基準に基づいて、前記第４ステップで抽出された前記変曲点の値を有する前記画像の品質を示す評価値を求めて出力する第５ステップとを備える。

上述した課題を解決するために、本発明に係る画像処理プログラムは、コンピュータに、対象物の画像を取得する第１ステップと、前記第１ステップで取得された前記画像を、空間周波数領域のスペクトルに変換する第２ステップと、前記第２ステップで変換されたスペクトルに対して、変曲点を示すパラメータを有する非線形モデルを適用する第３ステップと、前記非線形モデルが適用された前記スペクトルから、変曲点の値を抽出する第４ステップと、変曲点の値に対して設定された基準に基づいて、前記第４ステップで抽出された前記変曲点の値を有する前記画像の品質を示す評価値を求めて出力する第５ステップと、前記評価値に対して設定されたしきい値に基づいて、前記評価値を有する前記画像の良否を判定する第６ステップと、前記第６ステップで良と判定された画像の特徴を学習し、画像に含まれる前記対象物の外観を検査する判別モデルを構築する第７ステップとを実行させる。

上述した課題を解決するために、本発明に係る画像検査システムは、上記の画像処理装置と、画像検査装置とを備え、前記画像検査装置は、前記記憶部に格納されている画像の特徴を学習し、画像に含まれる対象物の外観を検査する判別モデルを構築するように構成された学習部と、前記学習部によって構築された学習済みの前記判別モデルに対して未知の画像を入力として与え、学習済みの前記判別モデルの演算を行い、演算結果を算出するように構成された算出部と、前記算出部による前記演算結果に基づいて、前記未知の画像に含まれる対象物の外観を検査するように構成された判別部と、前記判別部による検査の結果を提示するように構成された提示部とを備える。

本発明によれば、空間周波数領域のスペクトルに変換された画像に、変曲点を示すパラメータを有する非線形モデルを適用して変曲点の値を抽出し、抽出した変曲点の値に対して設定された基準に基づいて、抽出された変曲点の値を有する画像の品質を示す評価値を求める。そのため、学習用の画像を選定するために、より容易に画像の品質を評価することができる。

図１は、本発明の第１の実施の形態に係る画像検査システムの構成を示すブロック図である。 図２は、第１の実施の形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 図３は、第１の実施の形態に係る画像検査装置のハードウェア構成の一例を示すブロック図である。 図４は、第１の実施の形態に係る画像処理装置の動作の一例を示すフローチャートである。 図５は、第１の実施の形態に係る画像処理装置の動作を説明するための図である。 図６は、第１の実施の形態に係る画像処理装置の動作を説明するための図である。 図７は、第１の実施の形態に係る判定部による判定結果の表示例を示す図である。 図８は、第１の実施の形態に係る画像検査装置の動作を説明するフローチャートである。 図９は、第２の実施の形態に係る画像処理装置の構成を示すブロック図である。 図１０は、第２の実施の形態に係る画像処理装置の動作を説明するフローチャートである。

以下、本発明の好適な実施の形態について、図１から図１０を参照して詳細に説明する。

［第１の実施の形態］
はじめに、本発明の実施の形態に係る画像処理装置１および画像検査装置４を備える画像検査システムの概要について説明する。
画像検査システムは、機械学習を用いた画像検査システムであり、例えば、製造プロセスで得られた製品の画像に基づいて、予め構築された学習済みの判別モデルを用いて、製品の良品、不良品などの外観検査を行う。

画像処理装置１は、予め設定された撮影環境で撮影された製品の画像の品質を定量的に評価して、一定の品質を満たした画像を、製品の外観検査を行う判別モデルを構築するための学習用画像として選定する。

本実施の形態において、画像の品質とは、撮影された画像のピントや明るさに関する、画像の空間周波数領域における高周波成分の分布で表される画像の状態に関する情報である。例えば、ピントが合っていないぼやけた画像や、ハレーションが生じた画像などは、ピントの合った自然画像と比較して高周波成分が低下していることが知られている。

本実施の形態に係る画像処理装置１は、画像の空間周波数領域における高周波成分の低下の程度を表す情報を各画像から抽出し、各画像の品質を示す評価値として用いることがその特徴の一つである。

画像検査装置４は、画像処理装置１によって求められた画像の品質を示す評価値に基づいて選定された学習用の画像を用いて、製品の外観における異変、良品や不良品などを判別するための判別モデルを構築する。画像検査装置４は、構築した学習済み判別モデルを用いて、製品が写った未知の画像の演算を行い、演算結果に基づいて外観を判別する。

［画像処理装置の機能ブロック］
次に、画像処理装置１が備える各機能部について図１を参照して説明する。
画像処理装置１は、取得部１０、補正部１１、変換部１２、モデル適用部１３、抽出部１４、評価値算出部１５、判定部１６、第１記憶部（記憶部）１７、第２記憶部１８、および表示部１９を備える。

取得部１０は、対象物３の画像を取得する。取得部１０は、図１に示すように、外部に設置されたカメラ２（撮像装置）によって撮影された製品などの対象物３の外観が含まれる画像を、有線または無線通信によってカメラ２から取得する。画像は、例えば、静止画像のデジタルデータである。

また、本実施の形態では、カメラ２の位置、照明、および対象物３の設置位置などの撮影環境は予め構築されており、製造プロセスで得られる各対象物３は、同じ環境設定のもと撮影されている。しかし、本実施の形態では、前述したように、何らかの原因により、設備に振動が生じたり、製品自体の高さが変わったり、カメラ２の位置の微細なずれなどが生ずる場合があることを想定する。特に、対象物３が微細な製品であるような場合には、微小な環境変化は、撮影された画像に大きな変化を与える場合もある。

補正部１１は、取得部１０によって取得された対象物３の画像に含まれる対象物３の領域の切り出し、色調補正、リサイズ、ノイズの除去など予め設定された補正処理を行う。

変換部１２は、補正部１１によって補正処理が行われた画像を、空間周波数領域のスペクトルに変換する。より詳細には、変換部１２は、空間領域の画像を２次元離散フーリエ変換して、極座標変換を行うことで、画像の空間周波数分布を示す周波数スペクトル、すなわちパワースペクトルを出力する。

モデル適用部１３は、変換部１２によって得られたスペクトルに対して、変曲点を示すパラメータを唯一つ有する非線形モデルを適用する。非線形モデルは、少なくとも変曲点がパラメータとして規定される非線形関数であり、例えば、次式（１）に示す４パラメータ－シグモイド関数を用いることができる。

ただし、ａ、ｂは上限および下限を示し、ｃは曲線形状を示し、ｄは変曲点を示すパラメータである。

モデル適用部１３は、例えば、変換部１２によって得られたスペクトルと４パラメータ－シグモイド関数モデルとの誤差が小さくなるように、４パラメータ－シグモイド関数のパラメータａ、ｂ、ｃ、ｄの値を求めることができる。

抽出部１４は、非線形モデルが適用されたスペクトルから、変曲点の値を抽出する。より詳細には、抽出部１４は、４パラメータ－シグモイド関数が当てはめられた画像のパワースペクトルにおいて、変曲点ｄの強度に対応する周波数（周期）を抽出する。

前述したように、ピントが外れて画像にボケが生じているような場合、パワースペクトルの高周波成分が低下することが知られている。本実施の形態では、上式（１）に示す４パラメータ－シグモイド関数が当てはめられたパワースペクトルの変曲点の値を、その画像における高周波成分の低下具合を示す情報として抽出する。

評価値算出部１５は、変曲点の値に対して設定された基準に基づいて、抽出部１４が抽出した変曲点の値に係る画像の品質を示す評価値を求める。具体的には、評価値算出部１５は、抽出部１４が抽出した変曲点の値を、対象の画像の最大周波数で除して正規化した値を評価値として求める。

判定部１６は、評価値に対して設定されたしきい値に基づいて、評価値算出部１５が求めた評価値に係る画像の良否を判定する。しきい値は、任意の値として設定されることができる。例えば、画像検査装置４において外観検査の判別モデルを構築する際に学習用の画像として特徴量が抽出可能と推定される評価値の下限値や、所望の判別精度に応じてより高い評価値に対応するしきい値を設定することができる。

第１記憶部１７は、判定部１６が良と判定した画像を学習用画像として格納する。
第２記憶部１８は、画像検査装置４において、構築された学習済み判別モデルを用いて判別処理を行う際の判別対象の画像を格納する。第２記憶部１８は、例えば、判別用の画像として、評価値算出部１５によって評価値が算出された画像を格納することができる。

表示部１９は、評価値算出部１５によって求められた評価値と対応する画像を後述の表示装置１０８の表示画面に表示させる。また、表示部１９は、判定部１６によって良否判定がなされた画像を同様に表示させることができる。

［画像検査装置の機能ブロック］
次に、画像検査装置４の機能構成の一例について説明する。
画像検査装置４は、学習部４０、判別モデル格納部４１、算出部４２、判別部４３、第３記憶部４４、および提示部４５を備える。

学習部４０は、第１記憶部１７に格納されている学習用の画像をロードして、画像の特徴を学習し、画像に含まれる対象物３の外観を検査する判別モデルを構築する。判別モデルは、公知の機械学習手法を採用することができる。例えば、サポートベクターマン（ＳＶＭ）、単純ベイズ、ランダムフォレスト、オートエンコーダ、敵対的生成ネットワーク（ＧＡＮ）、パーセプトロン、畳み込みニューラルネットワーク（ＣＮＮ）、残差ネットワーク（ＲｅｓＮｅｔ）や、これらの組み合わせが挙げられる。

判別モデル格納部４１は、学習用の画像を用いた学習により構築された学習済み判別モデルを格納する。

算出部４２は、第２記憶部１８から判別用の画像を読み出して、学習済みの判別モデルに入力として与え、学習済みの判別モデルの演算を行い、演算結果を算出する。

判別部４３は、算出部４２による演算結果に基づいて、未知の画像である判別用の画像に含まれる対象物３の外観を検査する。例えば、判別部４３は、算出部４２による演算結果に基づいて、対象物３の製品についての、良品または不良品の検査、あるいは、特定の外観上の異変などを検出する検査などを行うことができる。

第３記憶部４４は、算出部４２による演算結果、および判別部４３による検査の結果を記憶する。
提示部４５は、判別部４３による検査の結果および検査の対象となった画像に関する情報を提示する。例えば、提示部４５は、表示装置４０８の表示画面に検査の結果を表示させることができる。あるいは、提示部４５は、図示されない外部のサーバなどに検査の結果を、通信ネットワークＮＷを介して送信することができる。

なお、学習部４０は、画像検査装置４が備える場合に限らず、画像処理装置１が備えることができる。このような構成を採用する場合、画像処理装置１において判別モデルの構築までが行われる。

［画像処理装置のハードウェア構成］
次に、上述した機能を有する画像処理装置１を実現するハードウェア構成の一例について、図２のブロック図を参照して説明する。

図２に示すように、画像処理装置１は、例えば、バス１０１を介して接続されるプロセッサ１０２、主記憶装置１０３、通信インターフェース１０４、補助記憶装置１０５、入出力Ｉ／Ｏ１０６、入力装置１０７、および表示装置１０８を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。プロセッサ１０２は、ＣＰＵやＧＰＵなどによって構成される。

主記憶装置１０３には、プロセッサ１０２が各種制御や演算を行うためのプログラムが予め格納されている。プロセッサ１０２と主記憶装置１０３とによって、図１に示した補正部１１、変換部１２、モデル適用部１３、抽出部１４、評価値算出部１５、判定部１６など、画像処理装置１の各機能が実現される。

通信インターフェース１０４は、画像処理装置１と各種外部電子機器との間をネットワーク接続するためのインターフェース回路である。例えば、通信インターフェース１０４を介して、画像処理装置１と画像検査装置４とはネットワーク接続され、画像検査装置４に学習用の画像や、判別用の画像を送信することができる。

補助記憶装置１０５は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。補助記憶装置１０５には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。

補助記憶装置１０５は、画像処理装置１が画像の補正処理、フーリエ変換処理、非線形モデルの適用処理、変曲点の抽出処理、評価値算出処理、およびしきい値処理を含む処理を実行するための画像処理プログラムを格納するプログラム格納領域を有する。補助記憶装置１０５は、学習用の画像を格納する領域、判別用の画像を格納する領域を有する。また、補助記憶装置１０５は、モデル適用部１３が用いる４パラメータ－シグモイド関数を格納する領域を有する。補助記憶装置１０５は、取得部１０が取得したカメラ２による撮影画像を記憶する領域を有する。また、補助記憶装置１０５は、判定部１６が判定に用いるしきい値を格納する領域を有する。

補助記憶装置１０５によって、図１で説明した第１記憶部１７、および第２記憶部１８が実現される。さらには、例えば、上述したデータやプログラムやなどをバックアップするためのバックアップ領域などを有していてもよい。

入出力Ｉ／Ｏ１０６は、外部機器からの信号を入力したり、外部機器へ信号を出力したりするＩ／Ｏ端子により構成される。

入力装置１０７は、物理キーやタッチパネルなどで構成され、外部からの操作入力に応じた信号を出力する。

表示装置１０８は、液晶ディスプレイなどによって構成される。表示装置１０８は、図１で説明した表示部１９を実現する。

カメラ２は、光信号を画像信号に変換して、動画や静止画像を生成することができる。より詳細には、カメラ２は、ＣＣＤ（電荷結合素子：Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサや、ＣＭＯＳイメージセンサなどの撮像素子を有し、撮像領域から入射する光を受光面に結像して、電気信号に変換する。なお、カメラ２が画像を撮影する場合の倍率、焦点などは、予めカメラ２が備える図示されない制御部によって自動的に設定される。カメラ２と画像処理装置１との間の通信は、無線で行われてもよい。

［画像検査装置のハードウェア構成］
次に、上述した機能を有する画像検査装置４を実現するハードウェア構成の一例について、図３のブロック図を参照して説明する。

図３に示すように、画像検査装置４は、上述した画像処理装置１のハードウェア構成と同様に、例えば、バス４０１を介して接続されるプロセッサ４０２、主記憶装置４０３、通信インターフェース４０４、補助記憶装置４０５、入出力Ｉ／Ｏ４０６、入力装置４０７、および表示装置４０８を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。プロセッサ４０２は、ＣＰＵやＧＰＵなどによって構成される。

プロセッサ４０２と主記憶装置４０３とによって、図１に示した学習部４０、算出部４２、および判別部４３など、画像検査装置４の各機能が実現される。

補助記憶装置４０５は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。補助記憶装置４０５には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。

補助記憶装置４０５は、画像検査装置４が学習処理、算出処理、および判別処理を含む処理を実行するための画像処理プログラムを格納するプログラム格納領域を有する。補助記憶装置４０５は、学習済みの判別モデルを格納する領域を有する。また、補助記憶装置４０５には、予め設定された機械学習手法に関する情報を格納する領域を有する。

補助記憶装置１０５によって、図１で説明した判別モデル格納部４１、および第３記憶部４４が実現される。さらには、例えば、上述したデータやプログラムやなどをバックアップするためのバックアップ領域などを有していてもよい。

なお、画像検査装置４と画像処理装置１とは、それぞれ独立したハードウェア構成を有し、互いに通信ネットワークＮＷを介して接続されている場合に限らず、共通する単一のコンピュータによって実現されていてもよい。また、画像処理装置１に含まれる各機能部は、ネットワーク上に分散された構成としてもよい。同様に、画像検査装置４の各機能部についても、同一ネットワーク上に分散された構成としてもよい。例えば、学習部４０と算出部４２とをそれぞれ異なるコンピュータで実現することができる。

［画像処理装置の動作］
次に、上述した構成を有する画像処理装置１の動作について、図４のフローチャートを参照して説明する。前提として、全ての画像が一定の角度、距離、照明環境で撮影されるような事前の設定がなされているものとする。しかし、周辺の環境および製品のばらつきや、設備の振動などによって、カメラ２で撮影される画像にばらつきが生ずる場合を仮定する。

まず、取得部１０は、カメラ２で撮影された対象物３を含む画像を取得する（ステップＳ１）。次に、補正部１１は、取得された画像から対象物３が含まれる領域を切り出す（ステップＳ２）。次に、変換部１２は、ステップＳ２で補正された画像に対して２次元離散フーリエ変換を行って、空間周波数領域のスペクトルを出力する（ステップＳ３）。

次に、モデル適用部１３は、ステップＳ３で得られた画像のパワースペクトルに対して、式（１）に示す４パラメータ－シグモイド関数を当てはめる（ステップＳ４）。次に、抽出部１４は、４パラメータ－シグモイド関数が当てはめられた画像のパワースペクトルから、変曲点の値を抽出する（ステップＳ５）。

その後、評価値算出部１５は、変曲点の値に対して設定された基準に基づいて、抽出された変曲点の値を有する画像の品質を示す評価値を求める（ステップＳ６）。具体的には、評価値算出部１５は、抽出部１４が抽出した変曲点の値を、対象の画像の最大周波数で除した値を評価値として求める。

図５は、ピントが合った画像、すなわち、評価値の最良値（評価値：１．０）の例を示している。また、図５は、画像のパワースペクトル（ｐｓ）、および４パラメータ－シグモイド関数が適用されたパワースペクトル（ｓｉｇｍ）を示している。図５に示すような、評価値が最良値のピントが合った自然画像では、パワースペクトルが対数軸上で直線になっている。また、図５に示すように、評価値が最良値の１．０の画像の変曲点ｄは、破線で示すようにパワースペクトルにおける横軸上（周期）の右端に現れる。

図６は、複数の対象物３の画像（ａ），（ｂ），（ｃ），（ｄ），（ｅ）と、それぞれの空間周波数領域のパワースペクトル（ｐｓ）、４パラメータ－シグモイド関数がフィッティングされたパワースペクトル（ｓｉｇｍ）、変曲点ｄ、および評価値を示している。

図６の例では、画像（ａ）から（ｅ）に向かって画像のボケがより強くなっている。各画像の変曲点ｄ（破線）に着目すると、画像のボケが強くなるにしたがって、画像の強度と周期との関係を表すスペクトルの横軸上の右端から左端へ変曲点ｄが移動することがわかる。このように、変曲点ｄを画像の高周波成分の分布の減少を示す情報として用いることで、画像の品質を評価する定量的な評価値が算出される。表示部１９は、図６に示すように、表示画面において、画像ごとの評価値を、画像とともに並べて表示させることができる。

図４のフローチャートに戻り、判定部１６は、評価値に対して設定されたしきい値を用いて、ステップＳ６で算出された評価値についてのしきい値処理を行う。しきい値は、例えば、対象物３の外観検査を行う判別モデルを構築する際に、対象物３の画像の特徴量を抽出することが困難な画像を排除することができる値が設定される。例えば、図６の例に示す、評価値１．０から－３．０の範囲における任意の値をしきい値として用いることができる。例えば、ユーザは、図６に示すように、画像とともに表示される画像ごとの評価値を表示画面上で比較して、任意のしきい値を入力装置１０７から入力することができる。入力装置１０７は、操作入力に応じたしきい値を受け付ける。

ステップＳ６で算出された評価値がしきい値以上の場合（ステップＳ７：ＹＥＳ）、その評価値の画像を学習用の画像として第１記憶部１７に格納する（ステップＳ８）。

その後、表示部１９は、ステップＳ７での判定結果を表示する（ステップＳ９）。図７は、判定結果の表示例を示す図である。図７の表示画面の領域１９ａに示すように、判定部１６がしきい値０を用いた場合を示している。なお、このしきい値０は、図６に示すように、評価値が－０．２の画像（ｄ）や、評価値が－３．０の画像（ｅ）のように比較的強いボケが生じた画像を除外することができる値である。

また、図７の例では、表示部１９において、合計７３１１枚の画像が処理された結果を表示している。図７の領域１９ｂでは、判定部１６がしきい値０に基づいて、７３１１枚の画像のうち良画像と判定した画像の割合（７２．７％）と、良画像の代表画像とが表示されている。また、領域１９ｃには、しきい値を下回り、学習用の画像からは除外された画像の割合（２７．３％）および除外された画像の代表画像が表示されている。

［画像検査装置の動作］
次に、上述した構成を有する画像検査装置４の動作について、図８のフローチャートを用いて説明する。なお、以下においては、事前に画像処理装置１によって学習用の画像が第１記憶部１７に格納され、判別用の画像についても事前に第２記憶部１８に格納されているものとする。

また、学習部４０は、事前に画像処理装置１の第１記憶部１７に格納されている学習用の画像を読み出して、対象物３の外観検査を行う判別モデルを学習により構築する（画像処理プログラムの第７ステップ）。具体的には、学習部４０は、学習用の画像を入力として、予め設定された機械学習手法にしたがって学習演算を行い、画像の特徴量を学習する。学習部４０は、事前の学習によって構築された学習済みの判別モデルを判別モデル格納部４１に格納しているものとする。

まず、算出部４２は、図８のフローチャートに示すように、判別モデル格納部４１から学習済みの判別モデルを読み込む（ステップＳ４０）。次に、算出部４２は、画像処理装置１の第２記憶部１８から判別用の未知の画像を読み出して、学習済みの判別モデルに入力として与え、学習済みの判別モデルの演算を行い、演算結果を算出する（ステップＳ４１）。算出部４２による演算結果、すなわち演算の詳細は任意に設定することができる。例えば、対象物３の外観に生ずる複数の異なる種類の異変を演算する構成としてもよい。

次に、判別部４３は、算出部４２による演算結果に基づいて、対象物３の外観の検査を行う（ステップＳ４２）。例えば、判別部４３は、外観において、所定の異変が判別された対象物３を不良品とし、所定の異変が判別されなかった対象物３を良品とした検査結果を出力する。

その後、提示部４５は、判別部４３による検査結果を提示する（ステップＳ４３）。例えば、提示部４５は、表示装置４０８の表示画面に検査結果を表示することができる。

ここで、本実施の形態に係る画像処理装置１の効果について説明する。図７で説明した、しきい値０以上の画像が学習用の画像として用いられた場合と、除外されたしきい値未満の画像も含めて学習用の画像として用いた場合との最終的な判別の結果を比較した。

なお、７３１１枚の画像のうち９９％の画像は良品の画像であり、不良品の画像が少ない不均衡なデータが用いられた。また、不良品の見逃し率を０％にしたうえで良品正答率を向上させるように学習を行った。

表１は、評価値がしきい値未満の画像を含むすべての品質の画像を用いて判別モデルを構築した場合と、しきい値以上の品質を有する画像のみを用いて判別モデルを構築した場合との良品正答率を示している。

表１に示すように、本実施の形態に係る画像処理装置１で選定されたしきい値以上の画像を学習用の画像として用いて構築した学習済み判別モデルでは、良品正答率が５４．２％であった。一方、品質がしきい値未満の画像を含むすべての画像を学習用の画像として用いて構築した学習済み判別モデルでは、良品正答率は４９．７％であった。すなわち、本実施の形態に係る画像処理装置１を用いることで、良品正答率は４．５％向上したことが示されている。

以上説明したように、第１の実施の形態によれば、検査対象の画像を空間周波数領域のスペクトルに変換し、変曲点パラメータで規定される非線形モデルを適用して、変曲点の値をスペクトルの高周波成分の分布の低下を示す情報として抽出して正規化する。さらに、正規化した変曲点の値に対して設定された基準に基づいて画像の品質を表す絶対的ともいえる評価値を算出する。そのため、画像の品質をより容易かつ定量的に評価することができる。またその結果として、機械学習を用いた画像検査システムにおける判別モデルを構築するための前処理としての、学習用画像の選定を容易に行うことができる。

また、第１の実施の形態によれば、４パラメータ－シグモイド関数を画像のパワースペクトルに当てはめて抽出された変曲点に基づいて算出された評価値に対してしきい値処理を行い、選定された良画像を学習用画像として用いることで、より判別精度の高い画像検査の判別モデルを構築することができる。

また、第１の実施の形態によれば、画像の撮影環境が変化した場合であっても、撮影済みの画像において、撮影環境の変化の影響による画像の品質の低下を検出し、品質が一定未満の画像を排除することができる。そのため、品質の低い画像が含まれる場合であっても、より簡易に機械学習による画像認識を用いた画像検査システムを実現することができる。

また、第１の実施の形態によれば、任意の画像に適用することができる汎用的な画像処理技術であるので、撮影対象、撮影環境、画像サイズなどが変化していても、一定の基準で画像の品質を示す評価値を得ることができる。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、以下の説明では、上述した第１の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。

第１の実施の形態では、画像処理装置１において、判定部１６がしきい値処理を行い、しきい値以上の画像のみを学習用の画像として第１記憶部１７に格納する場合について説明した。これに対して、第２の実施の形態では、画像の品質がしきい値未満の画像に対して復元処理を行う。以下、第１の実施の形態と異なる構成を中心に説明する。

図９は、第２の実施の形態に係る画像検査システムの構成を示すブロック図である。本実施の形態では、画像処理装置１Ａが復元処理部２０をさらに備える点で第１の実施の形態に係る画像処理装置１と異なる。なお、画像処理装置１Ａおよび画像検査装置４に含まれるその他の構成は、第１の実施の形態と同様である。

復元処理部２０は、判定部１６によって否と判定された、しきい値を下回る画像に対して復元処理を行う。例えば、復元処理部２０は、しきい値が０である場合に、しきい値を下回った評価値が－０．８の画像に対してコントラスト調整を行い、しきい値以上の評価値の画像、例えば評価値０．１の画像を生成する。コントラスト調整の他にもノイズの除去や輝度の調整などを行うことができる。

次に、本実施の形態に係る画像処理装置１Ａの動作について、図１０のフローチャートを参照して説明する。なお、ステップＳ１からステップＳ９までの処理は第１の実施の形態と同様であり説明を省略する。

図１０に示すように、判定部１６により実行されるしきい値処理において、画像の評価値がしきい値を下回った場合（ステップＳ７：ＮＯ）、復元処理部２０はしきい値を下回った画像の復元処理を行う（ステップＳ１０）。復元処理された画像は、再び変換部１２によって２次元離散フーリエ変換される（ステップＳ３）。

その後、ステップＳ４からステップＳ６までが実行され、再び判定部１６によるしきい値処理が行われ、復元された画像がしきい値以上の場合（ステップＳ７：ＹＥＳ）、学習用の画像として第１記憶部１７に格納される（ステップＳ８）。その後、表示部１９は画像を表示することができる（ステップＳ９）。

以上説明したように、第２の実施の形態によれば、画像の品質を示す評価値がしきい値を下回る画像であっても、復元処理を行うことでしきい値以上の品質を有する画像を得ることができる。特に、画像の数が限られている場合などにおいて有効である。

なお説明した実施の形態では、学習部４０が、第１記憶部１７に格納されている学習用画像を用いて学習を行い、判別モデルを構築する場合について説明した。しかし、第１記憶部１７に格納されている学習用画像の数を増やすことが望まれる場合には、画像処理装置１のプロセッサ１０２は、既存の学習用画像を用いて、追加の学習用画像を合成して生成する水増し処理を行うことができる。また、既存の学習用画像において明るさの変化を許容したい、あるいは明るさを加えた画像を学習用に用意することが望まれる場合にも、プロセッサ１０２は、既存の学習用画像を用いて追加の学習用の画像を生成することができる。

以上、本発明の画像処理装置、画像処理方法、画像処理プログラム、および画像検査システムにおける実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。

１…画像処理装置、２…カメラ、３…対象物、４…画像検査装置、１０…取得部、１１…補正部、１２…変換部、１３…モデル適用部、１４…抽出部、１５…評価値算出部、１６…判定部、１７…第１記憶部、１８…第２記憶部、１９…表示部、４０…学習部、４１…判別モデル格納部、４２…算出部、４３…判別部、４４…第３記憶部、４５…提示部、１０１，４０１…バス、１０２，４０２…プロセッサ、１０３，４０３…主記憶装置、１０４，４０４…通信インターフェース、１０５，４０５…補助記憶装置、１０６，４０６…入出力Ｉ／Ｏ、１０７，４０７…入力装置、１０８，４０８…表示装置、ＮＷ…通信ネットワーク。

Claims (8)

1. 撮像装置から取得された画像を、空間周波数領域のスペクトルに変換するように構成された変換部と、
   前記変換部によって変換されたスペクトルに対して、変曲点を示すパラメータを有する非線形モデルを適用するように構成されたモデル適用部と、
   前記非線形モデルが適用された前記スペクトルから、変曲点の値を抽出するように構成された抽出部と、
   変曲点の値に対して設定された基準に基づいて、抽出された前記変曲点の値を有する前記画像の品質を示す評価値を求めて出力するように構成された評価値算出部と
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記評価値に対して設定されたしきい値に基づいて、前記評価値を有する前記画像の良否を判定するように構成された判定部と、
   前記判定部によって良と判定された画像を格納するように構成された記憶部と
   をさらに備える
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記判定部によって否と判定された画像に対して復元処理を行うように構成された復元処理部をさらに備える
   ことを特徴とする画像処理装置。
4. 請求項１から３のいずれか１項に記載の画像処理装置において、
   前記画像と、前記評価値算出部によって求められた前記評価値に関する情報とを表示画面に表示するように構成された表示装置をさらに備える
   ことを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記表示装置は、前記画像ごとの前記評価値を、前記画像とともに前記表示画面に表示させる
   ことを特徴とする画像処理装置。
6. 対象物の画像を取得する第１ステップと、
   前記第１ステップで取得された前記画像を、空間周波数領域のスペクトルに変換する第２ステップと、
   前記第２ステップで変換されたスペクトルに対して、変曲点を示すパラメータを有する非線形モデルを適用する第３ステップと、
   前記非線形モデルが適用された前記スペクトルから、変曲点の値を抽出する第４ステップと、
   変曲点の値に対して設定された基準に基づいて、前記第４ステップで抽出された前記変曲点の値を有する前記画像の品質を示す評価値を求めて出力する第５ステップと、
   を備える画像処理方法。
7. コンピュータに、
   対象物の画像を取得する第１ステップと、
   前記第１ステップで取得された前記画像を、空間周波数領域のスペクトルに変換する第２ステップと、
   前記第２ステップで変換されたスペクトルに対して、変曲点を示すパラメータを有する
   非線形モデルを適用する第３ステップと、
   前記非線形モデルが適用された前記スペクトルから、変曲点の値を抽出する第４ステップと、
   変曲点の値に対して設定された基準に基づいて、前記第４ステップで抽出された前記変曲点の値を有する前記画像の品質を示す評価値を求めて出力する第５ステップと、
   前記評価値に対して設定されたしきい値に基づいて、前記評価値を有する前記画像の良否を判定する第６ステップと、
   前記第６ステップで良と判定された画像の特徴を学習し、画像に含まれる前記対象物の外観を検査する判別モデルを構築する第７ステップと
   を実行させるための画像処理プログラム。
8. 請求項２に記載の画像処理装置と、画像検査装置とを備え、
   前記画像検査装置は、
   前記記憶部に格納されている画像の特徴を学習し、画像に含まれる対象物の外観を検査する判別モデルを構築するように構成された学習部と、
   前記学習部によって構築された学習済みの前記判別モデルに対して未知の画像を入力として与え、学習済みの前記判別モデルの演算を行い、演算結果を算出するように構成された算出部と、
   前記算出部による前記演算結果に基づいて、前記未知の画像に含まれる対象物の外観を検査するように構成された判別部と、
   前記判別部による検査の結果を提示するように構成された提示部と
   を備える画像検査システム。

Images