JP7443892B2 - 画像評価方法及び画像評価装置 - Google Patents

Description

本発明は、画像評価方法及び画像評価装置に関する。

近年、様々な情報の分析を目的とした機械学習が行われ、このような機械学習が行われた学習モデルを用いた様々なシステムが開発されつつある。例えば、特許文献１には、取得された画像が特定の状態であることを高精度に検出するためには、学習ラベルが付与された学習データを数多く準備する必要があるという課題に対し、学習用画像へのラベル付与の手間を削減しながら対象物を高精度に検出することを可能としたデータ処理システムが開示されている。

特許第６４３５７４０号公報

上述したデータ処理システムでは、取得した画像（以下、「評価用全体画像」と称する。）を複数の画像に分割し、分割されたそれぞれの画像（以下、「評価用部分画像」と称する。）に対する評価結果を区別なく平等に評価することによって、評価用全体画像の評価を行っている。しかしながら、評価用全体画像には、特徴部分が評価用全体画像の全体に等しく分散して出現するわけではなく、特徴部分が一部に偏って出現したり、特徴部分の出現確率が小さかったりする場合がある。このため、評価用部分画像のそれぞれを分析するだけでは、高精度な画像の評価はできない。

そこで、本発明の目的は、評価用全体画像が予め設定された複数の評価の中の何れの評価に該当するかを高精度に判定することができる画像評価方法及び画像評価装置を提供することにある。

本発明の画像評価方法は、評価用全体画像が、予め設定された複数の評価の中の何れの評価に該当するかを判定する画像評価方法であって、学習用全体画像から複数の学習用部分画像を切り出す第一工程と、切り出された複数の学習用部分画像のそれぞれについて、複数の評価の中の何れの評価に該当するかを示す評価ラベルを付与する第二工程と、評価ラベルが付与された複数の学習用部分画像に基づいて学習モデルを生成する第三工程と、評価用全体画像から複数の評価用部分画像を切り出す第四工程と、切り出された複数の評価用部分画像のそれぞれについて、学習モデルに基づいて複数の評価の何れに該当するかを判定する第五工程と、複数の評価用部分画像のそれぞれに対応する判定結果に基づいて、評価用全体画像が複数の評価の何れに該当するかを判定する第六工程と、を含み、第六工程では、複数の評価のうち少なくとも１つの評価の重みを他の評価とは異ならせ、評価用全体画像が複数の評価の何れに該当するかを判定するに際し重みを反映する。

本発明の画像評価装置は、評価用全体画像が、予め設定された複数の評価の中の何れの評価に該当するかを判定する画像評価装置であって、学習用全体画像及び評価用全体画像を取得する取得部と、学習用全体画像から複数の学習用部分画像を切り出す学習用画像切出部と、切り出された複数の学習用部分画像のそれぞれについて、複数の評価の中の何れの評価に該当するかを示す評価ラベルを付与するラベル付与部と、評価ラベルが付与された複数の学習用部分画像に基づいて学習モデルを生成するモデル生成部と、学習モデルを記憶する記憶部と、評価用全体画像から複数の評価用部分画像を切り出す評価用画像切出部と、切り出された複数の評価用部分画像のそれぞれについて、学習モデルに基づいて複数の評価の何れに該当するかを判定する第一判定部と、複数の評価用部分画像のそれぞれに対応する判定結果に基づいて、評価用全体画像が複数の評価の何れに該当するかを判定する第二判定部と、を備え、第二判定部では、複数の評価のうち少なくとも１つの評価の重みを他の評価とは異ならせ、評価用全体画像が複数の評価の何れに該当するかを判定するに際し重みを反映する。

本発明の画像評価装置は、評価用全体画像が、予め設定された複数の評価の中の何れの評価に該当するかを判定する画像評価装置であって、評価用全体画像を取得する取得部と、学習用全体画像から切り出された複数の学習用部分画像であって、複数の評価の中の何れの評価に該当するかを示す評価ラベルが付与された複数の学習用部分画像を機械学習することにより生成された学習モデルを記憶する記憶部と、評価用全体画像から複数の評価用部分画像を切り出す評価用画像切出部と、切り出された複数の評価用部分画像のそれぞれについて、学習モデルに基づいて複数の評価の何れに該当するかを判定する第一判定部と、複数の評価用部分画像のそれぞれに対応する判定結果に基づいて、評価用全体画像が複数の評価の何れに該当するかを判定する第二判定部と、を備え、第二判定部では、複数の評価のうち少なくとも１つの評価の重みを他の評価とは異ならせ、評価用全体画像が複数の評価の何れに該当するかを判定するに際し重みを反映する。

これらの画像評価方法及び画像評価装置によれば、予め定められた複数の評価のうち少なくとも１つの評価の重みを他の評価とは異ならせ、評価用全体画像が複数の評価の何れに該当するかの判定は、当該重みが考慮される。これにより、例えば評価用全体画像の判定が評価用部分画像に対する判定の集計によって判定される等、評価用部分画像に対する判定結果をそのまま用いて判定する場合と比べ、予め設定された複数の評価の中の何れの評価に該当するかを高精度に判定することができる。

本発明の画像評価方法において、第六工程は、上記の判定結果を集計したときに最も数の多かった評価を、評価用全体画像の評価として判定し、上記の重みは判定結果を集計するときの数に反映させてもよい。また、本発明の画像評価装置において、第二判定部は、上記の判定結果を集計したときに最も数の多かった評価を、評価用全体画像の評価として判定し、上記重みは判定結果を集計するときの数に反映させてもよい。

これらの画像評価方法及び画像評価装置によれば、複数の評価用部分画像のそれぞれに対応する判定結果に基づいて、評価用全体画像が複数の評価の何れに該当するかを判定する場合、評価用部分画像の判定結果を集計して、その中で最も数の多かった判定結果を評価用全体画像の評価とすることができる。そして、この画像評価方法及び画像評価装置では、判定結果を集計する際に、通常、一の評価用部分画像に対する判定結果を１ポイントとして集計するところ、重みの小さい判定結果に対しては、例えば０．５ポイントと集計する等、集計の数に反映させている。これにより、評価用部分画像の判定結果に対して容易に重み付けをすることが可能となる。

本発明の画像評価方法において、第一工程は、互いに隣接する学習用部分画像の一部が重畳するように、学習用全体画像から複数の学習用部分画像を切り出してもよい。また、本発明の画像評価装置において、学習用画像切出部は、互いに隣接する学習用部分画像の一部が重畳するように、学習用全体画像から複数の学習用部分画像を切り出してもよい。

これらの画像評価方法及び画像評価装置によれば、学習用部分画像が互いに重畳して切り出されない態様と比較して、一の学習用全体画像からより多くの学習用部分画像を切り出すことができる。

本発明の画像評価方法において、第一工程は、複数の学習用部分画像の全てが同じ画像サイズとなるように、学習用全体画像から複数の学習用部分画像を切り出してもよい。また、本発明の画像評価装置において、学習用画像切出部は、複数の学習用部分画像の全てが同じ画像サイズとなるように、学習用全体画像から複数の学習用部分画像を切り出してもよい。

これらの画像評価方法及び画像評価装置によれば、学習用全体画像から学習用部分画像を切り出す処理を簡単なものにでき、その処理効率を高めることが可能となる。

本発明の画像評価方法において、第一工程における学習用全体画像から切り出される学習用部分画像の切り出しスパンは、第四工程における評価用全体画像から切り出される評価用部分画像の切り出しスパンとは異なっていてもよい。また、本発明の画像評価装置において、学習用画像切出部における学習用全体画像から切り出される学習用部分画像の切り出しスパンは、評価用画像切出部における評価用全体画像から切り出される評価用部分画像の切り出しスパンとは異なっていてもよい。

なお、ここでいう切り出しスパンとは、切り出し方向において互いに隣り合う画像間隔をいう。画像間隔は、画像の中心部（重心部）同士の距離であってもよいし、切り出し方向における重複量（又は離隔量）であってもよい。これらの画像評価方法及び画像評価装置によれば、学習用全体画像の特性に合わせて適切なスパンを設定することができるので、適切な学習用部分画像を生成することができる。また、これらの画像評価方法及び画像評価装置によれば、評価用全体画像の特性に合わせて適切なスパンを設定することができるので、評価用全体画像を評価するに際し適切な評価用部分画像を生成することができる。

本発明の画像評価方法において、複数の評価の中には、正常状態に相当する第一評価が含まれており、第六工程は、第一評価の重みを他の評価とは異ならせてもよい。また、本発明の画像評価方法において、第六工程は、第一評価の重みを他の評価よりも小さくしてもよい。また、本発明の画像評価装置において、複数の評価の中には、正常状態に相当する第一評価が含まれており、第二判定部は、第一評価の重みを他の評価とは異ならせてもよい。また、本発明の画像評価装置において、第二判定部は、第一評価の重みを他の評価よりも小さくしてもよい。

ここで、評価用全体画像のほぼ全域が正常状態であってもごく一部において異常状態が含まれている場合には、評価用全体画像を異常と判定したい場合がある。これらの画像評価方法及び画像評価装置によれば、評価用全体画像が上述するような画像であっても、異常と判定することが可能となる。

本発明の画像評価方法において、学習用全体画像及び評価用全体画像は、工作機械により加工されたワークの被加工部分を撮像した画像であり、予め設定された複数の評価は、被加工部分の状態に基づいて判断される工作機械に設定された加工条件であってもよい。また、本発明の画像評価装置において、学習用全体画像及び評価用全体画像は、工作機械により加工されたワークの被加工部分を撮像した画像であり、評価は、予め設定された複数の評価は、被加工部分の状態に基づいて判断される工作機械に設定された加工条件であってもよい。

これらの画像評価方法及び画像評価装置によれば、工作機械により加工されたワークの被加工部分を撮像した評価用全体画像に基づいて工作機械に設定された加工条件を高精度に判定することが可能となる。

本発明の画像評価方法において、工作機械はレーザ加工機であり、被加工部分はレーザ加工機による切断面であってもよい。また、本発明の画像評価装置において、工作機械はレーザ加工機であり、被加工部分はレーザ加工機による切断面であってもよい。

これらの画像評価方法及び画像評価装置によれば、レーザ加工機により加工されたワークの切断面を撮像した評価用全体画像に基づいてレーザ加工機に設定された加工条件を高精度に判定することが可能となる。

本発明によれば、評価用全体画像が予め設定された複数の評価の中の何れの評価に該当するかを高精度に判定することができる。

図１は、一実施形態に係る画像評価装置を含むレーザ加工システムを示す斜視図である。 図２は、一実施形態に係る画像評価装置を含むレーザ加工システムを示す上面図である。 図３は、画像評価装置の機能ブロック図である。 図４は、レーザ加工機による切断面の状態の例を示した図である。 図５（Ａ）～図５（Ｃ）は、学習用全体画像及び評価用全体画像の一例を示した図である。 図６（Ａ）は、学習用全体画像の切り出しの一例であり、図６（Ｂ）は、学習用部分画像の一例を示した図である。 図７（Ａ）は、評価用全体画像の切り出しの一例であり、図７（Ｂ）は、評価用部分画像の一例を示した図である。

以下、図面を参照して一実施形態の画像評価装置３０を含むレーザ加工システム１について説明する。図面の説明において、同一要素には同一符号を付し、重複する説明を省略する。以下、実施形態について図面を参照しながら説明する。以下、説明の便宜のため、各図において、ＸＹＺ座標系を用いて図中の方向を説明する。このＸＹＺ座標系は、Ｘ方向およびＹ方向が水平方向であり、Ｚ方向が鉛直方向である。

図１及び図２に示されるように、レーザ加工システム１は、レーザ加工機（工作機械）７と、ワーク搬送システムＴＳと、を備える。ワーク搬送システムＴＳは、レーザ加工機７に対してワークＷを搬送する。ワーク搬送システムＴＳは、保管装置２、ローダ装置３、パレット搬送装置４、グリッパ装置５、及び制御装置１０を備える。

レーザ加工システム１は、保管エリアＡＲ１、搬入出エリアＡＲ２及び仮置エリアＡＲ３が設けられている。保管エリアＡＲ１には、加工前のワークＷ（素材ワーク）が保管される。加工前のワークＷは、仮置エリアＡＲ３を経由して搬入出エリアＡＲ２へ搬出される。搬入出エリアＡＲ２は、レーザ加工機７と仮置エリアＡＲ３との間に設けられ、レーザ加工機７へ搬入する前の加工前のワークＷが搬入され、レーザ加工機７によって加工された加工後のワークＷが搬出される。保管エリアＡＲ１は、仮置エリアＡＲ３に隣接して設けられる。搬入出エリアＡＲ２において、加工後のワークＷは、製品Ｗａと残材（スケルトン）Ｗｂとに分離される。製品Ｗａは、仮置エリアＡＲ３を経由して保管エリアＡＲ１へ搬出され、保管エリアＡＲ１に集積された後、外部へ搬出される。

次に、レーザ加工システム１の各部について、ワークＷの加工の流れに沿って説明する。保管装置２は、保管エリアＡＲ１に配置される。保管装置２は、複数の保管棚１１、及びエレベータ１２を備える。保管棚１１は、複数の加工前のワークＷが載置される素材パレットを保管する。エレベータ１２は、素材パレットを保管棚１１から取り出し、仮置エリアＡＲ３に搬出する。

ローダ装置３は、Ｘ方向、Ｙ方向及びＺ方向に移動可能に設けられており、加工前のワークＷを仮置エリアＡＲ３からパレット搬送装置４にまで搬送し、複数の製品Ｗａをパレット搬送装置４から仮置エリアＡＲ３にまで搬送する。ローダ装置３は、加工前のワークＷを、例えば吸着保持して搬送する。ローダ装置３は、パレット搬送装置４に載置された加工パレット４Ａの所定位置に加工前のワークＷを載置する。ローダ装置３は、パレット搬送装置４の上方に近接又は退避可能に設けられている。

パレット搬送装置４は、加工パレット４Ａに載置された加工前のワークＷを、レーザ加工機７に搬入する。パレット搬送装置４は、加工パレット４Ａを牽引することによって加工パレット４Ａをレーザ加工機７に搬入する。なお、加工パレット４Ａを移動させる機構は適宜変更可能であり、例えば、加工パレット４Ａそのものが自走する構成であってもよい。

レーザ加工機７は、加工パレット４Ａに載置された加工前のワークＷに対してレーザ光を照射して、ワークＷにレーザ加工（切断加工）を施す。レーザ加工機７は、レーザヘッドと、ヘッド駆動部とを備える。レーザヘッドは、光ファイバ等の光伝送体を介してレーザ光源に接続され、下方にレーザ光を射出する。レーザ光源は、ファイバーレーザ等の固体レーザ、炭酸ガスレーザ等を使用することができる。上述したように、加工前のワークＷは、レーザ加工によって、図２に示されるように、複数の製品Ｗａと残材Ｗｂ（スケルトン、製品Ｗａの周辺部分）とに切り分けられる。

パレット搬送装置４は、レーザ加工機７によって加工された加工後のワークＷ（複数の製品Ｗａと残材Ｗｂ）が載置された加工パレット４Ａを、搬入出エリアＡＲ２に搬出する。ローダ装置３は、加工パレット４Ａに載置された複数の製品Ｗａをパレット搬送装置４から仮置エリアＡＲ３にまで搬送する。ローダ装置３は、製品Ｗａを、例えば吸着保持して搬送する。ローダ装置３は、製品Ｗａを、まとめて搬送してもよいし、複数回に分けて搬送してもよい。ローダ装置３は、仮置エリアＡＲ３の上方に近接又は退避可能に設けられている。ローダ装置３は、仮置エリアＡＲ３に配置された製品パレットに製品Ｗａを集積する。

グリッパ装置５は、パレット搬送装置４によってレーザ加工機７から搬入出エリアＡＲ２へ排出された加工パレット４Ａに載置された残材Ｗｂを吸着保持して、外部に搬出する。保管装置２の保管棚１１は、複数の製品Ｗａが集積される製品パレットを保管する。エレベータ１２は、仮置エリアＡＲ３から保管棚１１に製品パレットを移載する。

カメラ２０は、パレット搬送装置４の側方等に配置されており、レーザ加工機７によって加工された製品Ｗａのレーザの切断面（被加工部分）を撮像する。カメラ２０によって撮像された画像は、画像評価装置３０によって評価用全体画像として取得される。

制御装置１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、Ｉ／Ｏポート及び通信ポート等からなる電子制御ユニットである。ＲＯＭには、レーザ加工機７及びワーク搬送システムＴＳを制御するためのプログラムが記録されている。Ｉ／Ｏポート及び通信ポートには、レーザ加工機７及びワーク搬送システムＴＳにおける各部と接続されている。これにより、制御装置１０は、レーザ加工機７及びワーク搬送システムＴＳにおける各部の動作を制御することができる。制御装置１０は、レーザ加工機７におけるレーザヘッド及びヘッド駆動部を制御して、例えば、レーザ光の焦点深度、アシストガスの圧力、送り速度等を調整する。

また、本実施形態においては、制御装置１０は、画像評価装置３０としても機能する。図３に示されるように、画像評価装置３０は、取得部３１と、記憶部３２と、評価用画像切出部３３と、第一判定部３４と、第二判定部３５と、を備える。評価用画像切出部３３、第一判定部３４、及び第二判定部３５は、ＣＰＵ及び主記憶部等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵの制御のもと実行される。

取得部３１は、他装置との通信インタフェイスであり、情報のやりとりを可能とする部分である。取得部３１は、カメラ２０によって撮像された画像を評価用全体画像Ｓ３として取得する。記憶部３２は、例えば、ハードディスク、フラッシュメモリ等に例示される記憶装置である。記憶部３２は、評価用全体画像Ｓ３に加え、画像評価装置３０による画像評価に関する各種情報を記憶する。記憶部３２は、学習用全体画像Ｓ１から切り出された複数の学習用部分画像Ｓ２であって、複数の評価の中の何れの評価に該当するかを示す評価ラベルが付与された複数の学習用部分画像Ｓ２を機械学習することにより生成された学習モデルを記憶する。

ここで、学習モデルの生成方法について説明する。本実施形態の学習モデルは、評価用全体画像Ｓ３が入力されると、当該評価用全体画像Ｓ３が、図４に示される「ＦｉｎｅＣｕｔ」、「ＦｏｃｕｓＬｏｎｇ」、「ＦｏｃｕｓＳｈｏｒｔ」、「ＰｒｅｓｓｕｒｅＨｉｇｈ」、「ＰｒｅｓｓｕｒｅＬｏｗ」、「ＳｐｅｅｄＨｉｇｈ」、又は「ＳｐｅｅｄＬｏｗ」の何れの状態であるかの判定結果を出力する。これらの状態の詳細は下記に示すとおりである。

ＦｉｎｅＣｕｔ：正常状態（第一評価）
ＦｏｃｕｓＬｏｎｇ：レーザ光の焦点深度が過大
ＦｏｃｕｓＳｈｏｒｔ：レーザ光の焦点深度が過小
ＰｒｅｓｓｕｒｅＨｉｇｈ：アシストガスの圧力が過大
ＰｒｅｓｓｕｒｅＬｏｗ：アシストガスの圧力が過小
ＳｐｅｅｄＨｉｇｈ：レーザ加工機の送り速度が過大
ＳｐｅｅｄＬｏｗ：レーザ加工機の送り速度が過小

ここで、画像評価装置３０に備えられた学習モデル生成機能を用いて学習モデルを生成する場合について説明する。画像評価装置３０は、学習用画像切出部４１と、ラベル付与部４２と、モデル生成部４３と、を有する。学習用画像切出部４１、ラベル付与部４２、及びモデル生成部４３は、ＣＰＵ及び主記憶部等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵの制御のもと実行される。

上記学習モデルを生成するためには、最初にレーザ加工機７によって切断された切断面を有する製品Ｗａを準備する。これらの製品Ｗａは、上述したレーザ加工システム１によって加工された製品であり、例えば、レーザ光の焦点深度、アシストガスの圧力、レーザ加工機の送り速度等を様々に変化させることにより加工された製品である。そして、これらの製品Ｗａの切断面の撮像画像を学習用全体画像Ｓ１として準備する。製品Ｗａの切断面の撮像画像（学習用全体画像Ｓ１）は、作業者がカメラを用いて取得してもよいし、ワーク搬送システムＴＳに備わるカメラ２０を用いて取得してもよい。

学習用全体画像Ｓ１の例は、図５（Ａ）～図５（Ｃ）に示される。図４、図５（Ａ）～図５（Ｃ）、図６（Ａ）、図６（Ｂ）、図７（Ａ）及び図７（Ｂ）のそれぞれは、製品Ｗａにおける切断面（レーザ加工が施された側面部）の状態を示しており、切断面に図示された各線は、切断面に対する凹凸がある部分を示している。例えば、図４の「ＦｉｎｅＣｕｔ」に対応する切断面は、線が示されていないので、切断面が平坦面であることを示している。

図６（Ａ）は、学習用全体画像Ｓ１において切り出し対象となる部分をずらしつつ複数の学習用部分画像Ｓ２を切り出す様子を、図６（Ｂ）は、そのようにして切り出された複数の学習用部分画像Ｓ２を、それぞれ示す。学習用画像切出部４１は、図６に示されるように、学習用全体画像Ｓ１を複数の学習用部分画像Ｓ２に切り出す（第一工程）。学習用画像切出部４１は、例えば１枚の学習用全体画像Ｓ１を、切出方向Ｄに沿って１８枚の学習用部分画像Ｓ２に切り出す。学習用画像切出部４１は、複数の学習用部分画像Ｓ２の全てが同じ画像サイズとなるように、学習用全体画像Ｓ１から複数の学習用部分画像Ｓ２を切り出す。このとき、学習用画像切出部４１は、図６（Ａ）に示すように、互いに隣接する学習用部分画像Ｓ２の一部Ｓｕ（図６の着色部分）が重畳する（重なり合う）ように、学習用全体画像Ｓ１から複数の学習用部分画像Ｓ２を切り出す。互いに隣接する学習用部分画像Ｓ２における重畳量（重畳長さ）の例は、一画像の切出方向Ｄにおける長さの１０％～２５％であり、好ましくは５％～２５％である。

ラベル付与部４２は、学習用画像切出部４１によって切り出された複数の学習用部分画像Ｓ２のそれぞれに、上記に示した複数の評価の中の何れの評価に該当するかを示す評価ラベルを付与する（第二工程）。ラベル付与部４２は、学習用部分画像Ｓ２のそれぞれを、例えば、図示しない表示部等に表示させ、作業者に評価ラベルを入力させるようにしてもよい。ラベル付与部４２は、学習用部分画像Ｓ２と評価ラベルとを関連付けて記憶する。学習用部分画像Ｓ２と評価ラベルとが関連付けられたデータは、モデル生成部４３において教師データとして使用される。

モデル生成部４３は、評価ラベルが付与された複数の学習用部分画像Ｓ２（教師データ）を用いた機械学習を実行することにより学習モデルを生成する（第三工程）。モデル生成部４３が実行する機械学習の手法は、特定の手法に限られず、例えば、ニューラルネットワーク、ｋ－近傍法、ＳＶＭ（support vector machine）等の様々な手法を用いることができる。

次に、カメラ２０によって撮像された画像（評価用全体画像Ｓ３）が、予め設定された複数の評価（「ＦｉｎｅＣｕｔ」、「ＦｏｃｕｓＬｏｎｇ」、「ＦｏｃｕｓＳｈｏｒｔ」、「ＰｒｅｓｓｕｒｅＨｉｇｈ」、「ＰｒｅｓｓｕｒｅＬｏｗ」、「ＳｐｅｅｄＨｉｇｈ」、又は「ＳｐｅｅｄＬｏｗ」）の中の何れの評価に該当するかを判定する方法について説明する。

図７（Ａ）は、評価用全体画像Ｓ３において切り出し対象となる部分をずらしつつ複数の評価用部分画像Ｓ４を切り出す様子を、図７（Ｂ）は、そのようにして切り出された複数の評価用部分画像Ｓ４を、それぞれ示す。評価用画像切出部３３は、例えば図７に示されるように、評価用全体画像Ｓ３から複数の評価用部分画像Ｓ４を切り出す（第四工程）。評価用画像切出部３３は、例えば１枚の評価用全体画像Ｓ３から、切出方向Ｄに沿って５枚の評価用部分画像Ｓ４を切り出す。評価用画像切出部３３は、複数の評価用部分画像Ｓ４の全てが同じ画像サイズとなるように、評価用全体画像Ｓ３から複数の評価用部分画像Ｓ４を切り出す。このとき、評価用画像切出部３３は、互いに隣接する評価用部分画像Ｓ４同士の間隔があいた状態となるように、評価用全体画像Ｓ３から複数の評価用部分画像Ｓ４を切り出す。例えば、評価用画像切出部３３は、互いに隣接する評価用部分画像Ｓ４が重畳しない（重なり合わない）ように、評価用全体画像Ｓ３から複数の評価用部分画像Ｓ４を切り出す。すなわち、学習用画像切出部４１における学習用全体画像Ｓ１から切り出される学習用部分画像Ｓ２の切出方向Ｄにおける間隔（切り出しスパン）は、評価用画像切出部３３における評価用全体画像Ｓ３から切り出される評価用部分画像Ｓ４の切出方向Ｄにおける間隔（切り出しスパン）とは異なっている。

第一判定部３４は、切り出された複数の評価用部分画像Ｓ４のそれぞれについて、学習モデルに基づいて複数の評価の何れに該当するかを判定する（第五工程）。より詳細には、第一判定部３４は、記憶部３２に記憶された学習モデルに、切り出された複数の評価用部分画像Ｓ４のそれぞれを入力し、学習モデルから出力される評価を取得する。

第二判定部３５は、評価用部分画像Ｓ４のそれぞれに対応する複数の判定結果に基づいて、評価用全体画像Ｓ３が複数の評価の何れに該当するかを判定する（第六工程）。第二判定部３５は、複数の判定結果を集計したときに最も数の多かった評価を、評価用全体画像Ｓ３の評価として判定する。更に、第二判定部３５では、複数の評価のうち少なくとも１つの評価の重みを他の評価とは異ならせ、上記重みを判定結果を集計するときの数に反映させる。

本実施形態では、第二判定部３５は、「ＦｉｎｅＣｕｔ」（第一評価）の重みを他の評価（「ＦｏｃｕｓＬｏｎｇ」、「ＦｏｃｕｓＳｈｏｒｔ」、「ＰｒｅｓｓｕｒｅＨｉｇｈ」、「ＰｒｅｓｓｕｒｅＬｏｗ」、「ＳｐｅｅｄＨｉｇｈ」、及び「ＳｐｅｅｄＬｏｗ」とは異ならせ、正常状態を示す「ＦｉｎｅＣｕｔ」の重みを他の評価よりも小さくしている。例えば図７に示されるように、評価用部分画像Ｓ４について「ＳｐｅｅｄＨｉｇｈ」、「ＳｐｅｅｄＨｉｇｈ」、「ＦｉｎｅＣｕｔ」、「ＳｐｅｅｄＨｉｇｈ」、「ＳｐｅｅｄＨｉｇｈ」の評価が得られたとして後続の処理を説明する。

第二判定部３５は、第一判定部３４による判定結果を集計する際に、通常、一の評価用部分画像Ｓ４に対する判定結果を１ポイントとして集計するところ、重みの小さい「ＦｉｎｅＣｕｔ」の判定結果に対しては、例えば０．５ポイントと集計する等、集計の数に反映させる。これにより、集計結果は、「ＦｉｎｅＣｕｔ」が０．５ポイント、「ＳｐｅｅｄＨｉｇｈ」が４．０ポイントとなり、第二判定部３５は、評価用全体画像Ｓ３の評価を「ＳｐｅｅｄＨｉｇｈ」と判定する。なお、図７（Ａ）に示される評価用全体画像Ｓ３の例は、全体的に「ＳｐｅｅｄＨｉｇｈ」の特徴が出現している例であるが、評価用全体画像Ｓ３の中には、全体の一部にのみ「ＳｐｅｅｄＨｉｇｈ」の特徴が出現する場合がある。このような事例を、別例として説明する。

例えば、評価用部分画像Ｓ４について「ＦｉｎｅＣｕｔ」、「ＦｉｎｅＣｕｔ」、「ＦｉｎｅＣｕｔ」、「ＳｐｅｅｄＨｉｇｈ」、「ＳｐｅｅｄＨｉｇｈ」の評価が得られたとする。この場合、重みを考慮しない場合の第二判定部による集計結果は、「ＦｉｎｅＣｕｔ」が３．０ポイント、「ＳｐｅｅｄＨｉｇｈ」が２．０ポイントとなり、第二判定部は、評価用全体画像の評価を「ＦｉｎｅＣｕｔ」と判定する。これに対し、本実施形態の第二判定部３５による集計結果は、「ＦｉｎｅＣｕｔ」が１．５ポイント、「ＳｐｅｅｄＨｉｇｈ」が２．０ポイントとなり、第二判定部３５は、評価用全体画像Ｓ３の評価を「ＳｐｅｅｄＨｉｇｈ」と判定する。このような第二判定部３５による判定結果は、単純に第一判定部３４による判定結果を集計したことにより得られる判定結果とは異なっている。

制御装置１０は、第二判定部３５によって判定された判定結果を図示しない表示部又はネットワークで接続された端末装置、サーバ装置等に送信してもよい。また、制御装置１０は、第二判定部３５によって判定された判定結果に基づいて、例えば、レーザ光の焦点深度、アシストガスの圧力、送り速度等の加工条件を調整してもよい。

上記実施形態の画像評価装置３０を含むレーザ加工システム１における作用効果について説明する。

上記実施形態の画像評価装置３０及び画像評価方法によれば、予め定められた複数の評価（「ＦｉｎｅＣｕｔ」、「ＦｏｃｕｓＬｏｎｇ」、「ＦｏｃｕｓＳｈｏｒｔ」、「ＰｒｅｓｓｕｒｅＨｉｇｈ」、「ＰｒｅｓｓｕｒｅＬｏｗ」、「ＳｐｅｅｄＨｉｇｈ」、又は「ＳｐｅｅｄＬｏｗ」）のうち「ＦｉｎｅＣｕｔ」の評価の重みを他の評価とは異ならせ、評価用全体画像Ｓ３が複数の評価の何れに該当するかの判定は、当該重みが考慮されている。これにより、例えば評価用全体画像Ｓ３の判定が評価用部分画像Ｓ４に対する判定の集計によって判定される等、評価用部分画像Ｓ４に対する判定結果をそのまま用いて判定する場合と比べ、予め設定された複数の評価の中の何れの評価に該当するかを高精度に判定することができる。

特に、工作機械による加工面は、特徴部分が加工面の全体に等しく分散して出現するわけではなく、特徴部分が一部に偏って出現したり、特徴部分の出現確率が小さかったりする場合がある。このため、加工面の部分画像（評価用部分画像）のそれぞれを分析するだけでは、高精度な画像の評価はできない。上記実施形態の画像評価装置３０及び画像評価方法によれば、このような工作機械による加工面であっても、予め設定された複数の評価の中の何れの評価に該当するかを高精度に判定することができる。

上記実施形態の画像評価装置３０及び画像評価方法によれば、第二判定部３５（第六工程）は、通常、一の評価用部分画像に対する判定結果を１ポイントとして集計するところ、重みの小さい判定結果に対しては、例えば０．５ポイントと集計する等、集計の数に反映させている。これにより、評価用部分画像Ｓ４の判定結果に対して容易に重み付けをすることが可能となる。

上記実施形態の画像評価装置３０及び画像評価方法によれば、図６に示されるように、学習用画像切出部（第一工程）４１は、互いに隣接する学習用部分画像Ｓ２の一部Ｓｕが重畳するように、学習用全体画像Ｓ１から複数の学習用部分画像Ｓ２を切り出している。これにより、学習用部分画像Ｓ２が互いに重畳して切り出されない態様と比較して、一の学習用全体画像Ｓ１からより多くの学習用部分画像Ｓ２を切り出すことができる。

上記実施形態の画像評価装置３０及び画像評価方法によれば、図６に示されるように、学習用画像切出部４１は、複数の学習用部分画像Ｓ２の全てが同じ画像サイズとなるように、学習用全体画像Ｓ１から複数の学習用部分画像Ｓ２を切り出している。これにより、学習用部分画像Ｓ２を切り出すときの処理効率を高めることが可能となる。

上記実施形態の画像評価装置３０及び画像評価方法によれば、図６及び図７に示されるように、学習用画像切出部４１（第一工程）における学習用全体画像Ｓ１から切り出される学習用部分画像Ｓ２の切り出しスパンは、評価用画像切出部（第四工程）３３における評価用全体画像Ｓ３から切り出される評価用部分画像Ｓ４の切り出しスパンとは異なっている。これにより、学習用全体画像Ｓ１及び／又は評価用全体画像Ｓ３の特性に合わせて適切なスパンを設定することができるので、適切な学習用部分画像Ｓ２及び／又は評価用全体画像Ｓ３を生成することができる。

上記実施形態の画像評価装置３０及び画像評価方法によれば、予め設定される複数の評価の中には、正常状態に相当する「ＦｉｎｅＣｕｔ」が含まれており、第二判定部（第六工程）３５は、「ＦｉｎｅＣｕｔ」の重みを他の評価とは異ならせ、「ＦｉｎｅＣｕｔ」の重みを他の評価よりも小さくしている。これにより、評価用全体画像Ｓ３のほぼ全域が正常状態であってもごく一部において他の状態（「ＦｏｃｕｓＬｏｎｇ」、「ＦｏｃｕｓＳｈｏｒｔ」、「ＰｒｅｓｓｕｒｅＨｉｇｈ」、「ＰｒｅｓｓｕｒｅＬｏｗ」、「ＳｐｅｅｄＨｉｇｈ」、又は「ＳｐｅｅｄＬｏｗ」）が含まれている場合には、評価用全体画像Ｓ３をこれらの状態と判定することができる。

上記実施形態の画像評価装置３０及び画像評価方法によれば、レーザ加工機７により加工されたワークＷの切断面を撮像した評価用全体画像Ｓ３に基づいてレーザ加工機７に設定された加工条件を高精度に判定することが可能となる。

以上、一実施形態について説明したが、本発明は上記実施形態に限定されない。

上記実施形態では、本願発明の画像評価装置３０及び画像評価方法を、工作機械の一例であるレーザ加工機７に適用した例を挙げて説明したが、例えば、フライス盤等の工作機械に適用してもよい。また、この場合、被加工部分の一例である切断面に代えて、加工面の状態がどのような状態であるかを高精度に判定することが可能となる。

上記実施形態の画像評価装置３０及び画像評価方法によれば、予め定められた複数の評価（「ＦｉｎｅＣｕｔ」、「ＦｏｃｕｓＬｏｎｇ」、「ＦｏｃｕｓＳｈｏｒｔ」、「ＰｒｅｓｓｕｒｅＨｉｇｈ」、「ＰｒｅｓｓｕｒｅＬｏｗ」、「ＳｐｅｅｄＨｉｇｈ」、又は「ＳｐｅｅｄＬｏｗ」）のうち（「ＦｉｎｅＣｕｔ」の評価の重みを小さくした例を挙げて説明したが、上記の複数の評価のうち少なくとも１つの評価の重みを他の評価とは異ならせればよい。重みを変える対象となる評価は、被加工部分の状態に合わせて適切に設定することができる。

上記実施形態の画像評価装置３０及び画像評価方法によれば、学習用全体画像Ｓ１から学習用部分画像Ｓ２を切り出す際に、隣接する画像同士を重畳させながら切り出す例を挙げて説明したが、この重畳量は０であってもよいし、間隔をあけた状態で切り出してもよい。また、切り出される学習用部分画像Ｓ２は、全て同じ画像サイズである例を挙げて説明したが、異なる画像サイズとしてもよい。

上記実施形態の画像評価装置３０及び画像評価方法によれば、評価用全体画像Ｓ３から評価用部分画像Ｓ４を切り出す際に、隣接する画像同士の間隔をあけながら切り出す例を挙げて説明したが、互いに重畳させながら切り出してもよいし、重畳量が０（間隔をあけない状態）となるように切り出してもよい。また、切り出される評価用部分画像Ｓ４は、全て同じ画像サイズである例を挙げて説明したが、異なる画像サイズとしてもよい。

上記実施形態の画像評価装置３０及び画像評価方法によれば、画像評価装置３０に備えられた学習モデル生成機能を用いて学習モデルを生成する例を挙げて説明したが、画像評価装置３０、すなわちレーザ加工システム１とは分離された場所に生成された学習モデルが記憶部３２に記憶（実装）された構成としてもよい。

上記実施形態の画像評価装置３０及び画像評価方法によれば、画像評価装置３０がレーザ加工システム１に搭載されている例を挙げて説明したが、例えば、レーザ加工システム１とネットワークによって通信可能に設けられたサーバ装置等に、画像評価装置３０を構成する要素の一部又は全てが設けられていてもよい。

以上に記載した実施形態及び変形例の少なくとも一部は、任意に組み合わせることが可能である。

１…レーザ加工システム、２…保管装置、３…ローダ装置、４…パレット搬送装置、４Ａ…加工パレット、５…グリッパ装置、７…レーザ加工機（工作機械）、１０…制御装置、２０…カメラ、３０…画像評価装置、３１…取得部、３２…記憶部、３３…評価用画像切出部、３４…第一判定部、３５…第二判定部、４１…学習用画像切出部、４２…ラベル付与部、４３…モデル生成部、Ｄ…切出方向、Ｓ１…学習用全体画像、Ｓ２…学習用部分画像、Ｓ３…評価用全体画像、Ｓ４…評価用部分画像、ＴＳ…ワーク搬送システム、Ｗ…ワーク、Ｗａ…製品、Ｗｂ…残材。

Claims (17)

1. 評価用全体画像が、予め設定された複数の評価の中の何れの評価に該当するかを判定する画像評価方法であって、
   学習用全体画像から複数の学習用部分画像を切り出す第一工程と、
   切り出された複数の前記学習用部分画像のそれぞれについて、前記複数の評価の中の何れの評価に該当するかを示す評価ラベルを付与する第二工程と、
   前記評価ラベルが付与された複数の前記学習用部分画像に基づいて学習モデルを生成する第三工程と、
   前記評価用全体画像から複数の評価用部分画像を切り出す第四工程と、
   切り出された複数の前記評価用部分画像のそれぞれについて、前記学習モデルに基づいて前記複数の評価の何れに該当するかを判定する第五工程と、
   前記複数の評価用部分画像のそれぞれに対応する判定結果に基づいて、前記評価用全体画像が前記複数の評価の何れに該当するかを判定する第六工程と、を含み、
   前記第六工程では、前記複数の評価のうち少なくとも１つの評価の重みを他の評価とは異ならせ、前記評価用全体画像が前記複数の評価の何れに該当するかを判定するに際し前記重みを反映し、
   前記学習用全体画像及び前記評価用全体画像は、工作機械により加工されたワークの被加工部分を撮像した画像であり、
   前記評価は、前記予め設定された複数の評価は、前記被加工部分の状態に基づいて判断される前記工作機械に設定された加工条件である、画像評価方法。
2. 前記第六工程は、前記判定結果を集計したときに最も数の多かった評価を、前記評価用全体画像の評価として判定し、前記重みは前記判定結果を集計するときの数に反映させる、請求項１記載の画像評価方法。
3. 前記第一工程は、互いに隣接する前記学習用部分画像の一部が重畳するように、前記学習用全体画像から前記複数の学習用部分画像を切り出す、請求項１又は２記載の画像評価方法。
4. 前記第一工程は、前記複数の前記学習用部分画像の全てが同じ画像サイズとなるように、前記学習用全体画像から前記複数の学習用部分画像を切り出す、請求項１～３の何れか一項記載の画像評価方法。
5. 前記第一工程における前記学習用全体画像から切り出される前記学習用部分画像の切り出しスパンは、前記第四工程における前記評価用全体画像から切り出される前記評価用部分画像の切り出しスパンとは異なっている、請求項１～４の何れか一項記載の画像評価方法。
6. 前記複数の評価の中には、正常状態に相当する第一評価が含まれており、
   前記第六工程は、前記第一評価の重みを他の評価とは異ならせる、請求項１～５の何れか一項記載の画像評価方法。
7. 前記第六工程は、前記第一評価の重みを他の評価よりも小さくする、請求項６記載の画像評価方法。
8. 前記工作機械はレーザ加工機であり、前記被加工部分は前記レーザ加工機による切断面である、請求項１～７の何れか一項記載の画像評価方法。
9. 評価用全体画像が、予め設定された複数の評価の中の何れの評価に該当するかを判定する画像評価装置であって、
   学習用全体画像及び前記評価用全体画像を取得する取得部と、
   前記学習用全体画像から複数の学習用部分画像を切り出す学習用画像切出部と、
   切り出された複数の前記学習用部分画像のそれぞれについて、前記複数の評価の中の何れの評価に該当するかを示す評価ラベルを付与するラベル付与部と、
   前記評価ラベルが付与された複数の前記学習用部分画像に基づいて学習モデルを生成するモデル生成部と、
   前記学習モデルを記憶する記憶部と、
   前記評価用全体画像から複数の評価用部分画像を切り出す評価用画像切出部と、
   切り出された複数の前記評価用部分画像のそれぞれについて、前記学習モデルに基づいて前記複数の評価の何れに該当するかを判定する第一判定部と、
   前記複数の評価用部分画像のそれぞれに対応する判定結果に基づいて、前記評価用全体画像が前記複数の評価の何れに該当するかを判定する第二判定部と、を備え、
   前記第二判定部では、前記複数の評価のうち少なくとも１つの評価の重みを他の評価とは異ならせ、前記評価用全体画像が前記複数の評価の何れに該当するかを判定するに際し前記重みを反映し、
   前記学習用全体画像及び前記評価用全体画像は、工作機械により加工されたワークの被加工部分を撮像した画像であり、
   前記評価は、前記予め設定された複数の評価は、前記被加工部分の状態に基づいて判断される前記工作機械に設定された加工条件である、画像評価装置。
10. 前記学習用画像切出部は、互いに隣接する前記学習用部分画像の一部が重畳するように、前記学習用全体画像から前記複数の学習用部分画像を切り出す、請求項９記載の画像評価装置。
11. 前記学習用画像切出部は、前記複数の前記学習用部分画像の全てが同じ画像サイズとなるように、前記学習用全体画像から前記複数の学習用部分画像を切り出す、請求項１０記載の画像評価装置。
12. 前記学習用画像切出部における前記学習用全体画像から切り出される前記学習用部分画像の切り出しスパンは、前記評価用画像切出部における前記評価用全体画像から切り出される前記評価用部分画像の切り出しスパンとは異なっている、請求項９～１１の何れか一項記載の画像評価装置。
13. 評価用全体画像が、予め設定された複数の評価の中の何れの評価に該当するかを判定する画像評価装置であって、
    前記評価用全体画像を取得する取得部と、
    学習用全体画像から切り出された複数の学習用部分画像であって、前記複数の評価の中の何れの評価に該当するかを示す評価ラベルが付与された前記複数の学習用部分画像を機械学習することにより生成された学習モデルを記憶する記憶部と、
    前記評価用全体画像から複数の評価用部分画像を切り出す評価用画像切出部と、
    切り出された複数の前記評価用部分画像のそれぞれについて、前記学習モデルに基づいて前記複数の評価の何れに該当するかを判定する第一判定部と、
    前記複数の評価用部分画像のそれぞれに対応する判定結果に基づいて、前記評価用全体画像が前記複数の評価の何れに該当するかを判定する第二判定部と、を備え、
    前記第二判定部では、前記複数の評価のうち少なくとも１つの評価の重みを他の評価とは異ならせ、前記評価用全体画像が前記複数の評価の何れに該当するかを判定するに際し前記重みを反映し、
    前記学習用全体画像及び前記評価用全体画像は、工作機械により加工されたワークの被加工部分を撮像した画像であり、
    前記評価は、前記予め設定された複数の評価は、前記被加工部分の状態に基づいて判断される前記工作機械に設定された加工条件である、画像評価装置。
14. 前記第二判定部は、前記判定結果を集計したときに最も数の多かった評価を、前記評価用全体画像の評価として判定し、前記重みは前記判定結果を集計するときの数に反映させる、請求項９～１３の何れか一項記載の画像評価装置。
15. 前記複数の評価の中には、正常状態に相当する第一評価が含まれており、
    前記第二判定部は、前記第一評価の重みを他の評価とは異ならせる、請求項９～１４の何れか一項記載の画像評価装置。
16. 前記第二判定部は、前記第一評価の重みを他の評価よりも小さくする、請求項１５記載の画像評価装置。
17. 前記工作機械はレーザ加工機であり、前記被加工部分は前記レーザ加工機による切断面である、請求項９～１６の何れか一項記載の画像評価装置。

Images