JP7450517B2 - 加工面判定装置、加工面判定プログラム、加工面判定方法、及び、加工システム - Google Patents

Description

本発明は、加工面判定装置、加工面判定プログラム、加工面判定方法、及び、加工システムに関する。

近年、各種の製品を製造する製造過程において、作業者が目視にて製品の品質を判定することに代えて、各種のセンサを用いて製品の品質を自動的に判定する装置の開発が進められている。例えば、特許文献１には、検査対象物である羽根車を撮像した撮像画像に対して二値化処理等を行うことにより、羽根車の外形形状を検査する検査装置が開示されている。

特開２００８－５１６６４号公報

製品の品質を判定する際の指標の1つとして、例えば、研磨工程、研削工程、切削工程
又は鋳造工程等の各種の加工工程が実施された後の加工面の状態が挙げられる。この加工面の状態には、例えば、粗さ、凹凸、うねり、そり、模様、筋目、波打ち等の様々な判定項目が含まれる。

しかしながら、特許文献１に開示された検査装置は、検査対象物の外形形状を検査するものであるが、検査対象物における加工面の状態を判定することはできない。また、作業員が、加工面の状態を判定するものとした場合、作業者の熟練度や経験（暗黙知を含む）に依存するため、作業者の個人差が大きくなり、製品の品質を担保することが困難である。

本発明は、上述した課題に鑑み、判定対象物が有する加工面の状態を自動的に判定することを可能とする加工面判定装置、加工面判定プログラム、加工面判定方法、及び、加工システムを提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る加工面判定装置は、
判定対象物の加工面の状態を判定する加工面判定装置であって、
前記加工面が撮像された所定の判定用画像領域を有する判定用画像を取得する画像取得部と、
前記判定用画像領域を小画像領域に分割することで前記判定用画像から生成される複数の小画像の各々を、前記小画像領域に相当する学習用画像領域を有する学習用画像と当該学習用画像に含まれる前記加工面の状態を複数の加工状態のいずれかに分類した分類結果との相関関係を機械学習させた学習モデルに入力することにより、複数の前記小画像に対する前記分類結果を前記小画像単位で推論する推論部と、
前記小画像単位で推論された複数の前記小画像に対する前記分類結果を処理することで処理結果を求める分類結果処理部と、
前記処理結果に基づいて、前記加工面の状態を判定する判定部と、を備える。

本発明に係る加工面判定装置によれば、推論部が、判定用画像領域を小画像領域に分割することで判定用画像から生成される複数の小画像の各々を学習モデルに入力することにより、複数の小画像に対する分類結果を小画像単位で推論し、分類結果処理部が、小画像単位で推論された複数の小画像に対する分類結果を処理することで処理結果を求め、判定部が、処理結果に基づいて加工面の状態を判定する。したがって、判定対象物が有する加工面の状態を自動的に判定することができる。

上記以外の課題、構成及び効果は、後述する発明を実施するための形態にて明らかにされる。

実施形態に係る加工面判定装置７を備える加工システム１の一例を示す概略構成図である。 機械学習装置６及び加工面判定装置７を構成するコンピュータ２００の一例を示すハードウエア構成図である。 実施形態に係る機械学習装置６の一例を示すブロック図である。 学習用データの一例を示すデータ構成図である。 学習モデル２に適用される推論モデル２０の一例を示す概略図である。 実施形態に係る加工面判定装置７の一例を示すブロック図である。 推論部７１による推論処理の一例を示す機能説明図である。 割合を基準とする場合の分類結果処理部７３及び判定部７４の一例を示す機能説明図である。 分布を基準とする場合の分類結果処理部７３及び判定部７４の一例を示す機能説明図である。 実施形態に係る加工面判定装置７による加工面判定方法の一例を示すフローチャートである。

以下、図面を参照して本発明を実施するための実施形態について説明する。以下では、本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。

（実施形態）
図１は、実施形態に係る加工面判定装置７を備える加工システム１の一例を示す概略構成図である。

加工システム１は、判定対象物１０を加工する加工部３と、判定対象物１０の加工面１００を撮像する撮像部４と、学習モデル２を用いて判定対象物１０の加工面１００の状態を判定する加工面判定装置７と、加工部３、撮像部４及び加工面判定装置７を制御する制御装置５とを備える。また、加工システム１は、付加的な構成として、学習モデル２を生成する機械学習装置６を備える。

判定対象物１０は、例えば、金属、樹脂、セラミックス等の任意の材料で形成されて、加工部３による加工対象となる任意の物品である。判定対象物１０は、その具体例として、流体機械又は流体機械を構成する流体部品である。なお、判定対象物１０の立体形状、表面性状、色、大きさ等は特に限定されない。

加工面１００は、例えば、加工部３により判定対象物１０が加工されたときの当該判定
対象物１０の表面である。加工面１００は、判定対象物１０が有する任意の表面でよく、判定対象物１０が有する表面の全体でもよいし、その一部分でもよい。

加工部３は、電力や流体圧等を駆動源として動作する各種のロボットマニュピレータや工作機械の加工機構部等で構成される。加工部３は、制御装置５からの制御指令に基づいて、研磨、研削、切削又は鋳造等の加工工程を実施する。なお、加工部３は、判定対象物１０の表面を加工又は形成するものであれば任意の加工工程を実施するものでよく、さらに複数の加工工程を組み合わせて実施するものでもよい。

図１に示す加工システム１では、加工部３は、交換式の砥石が先端に装着されたロボットマニュピレータで構成され、研削工程を実施するものである。また、判定対象物１０は、ポンプを構成する流体部品として、複数の羽根を有する羽根車であり、加工面１００は、加工部３による研削工程により加工された各羽根の表面である。

撮像部４は、加工面１００を撮像するカメラであり、例えば、ＣＭＯＳセンサやＣＣＤセンサ等のイメージセンサで構成される。撮像部４は、加工面１００を撮像可能な所定の位置に取り付けられる。加工部３が、例えば、ロボットマニュピレータで構成される場合には、撮像部４は、ロボットマニュピレータの先端に取り付けられてもよいし、判定対象物１０が載置される載置台（可動式も含む）の上方に固定されてもよい。また、加工部３が、例えば、工作機械の加工機構部で構成される場合には、撮像部４は、工作機械の安全カバーの内側に取り付けられてもよいし、工作機械とは別体の作業台の上方に固定されてもよい。

撮像部４は、上記のような所定の位置に取り付けられて、撮像部４の画角内に加工面１００が収まるように、位置や向きが調節されている。なお、撮像部４は、図１に示すように、機械学習装置６に接続された撮像部４と、加工面判定装置７に接続された撮像部４とが別々に設けられてもよいし、１つの撮像部４が機械学習装置６及び加工面判定装置７の双方に接続されて共用されてもよい。また、撮像部４は、パン・チルト・ズームの機能を備えるものでもよい。さらに、撮像部４は、加工面１００を１台のカメラで撮像するものに限られず、複数台のカメラで撮像するものでもよい。

制御装置５は、例えば、汎用又は専用のコンピュータ（後述の図２参照）やマイクロコントローラ等で構成される制御盤５０と、タッチパネルディスプレイ、スイッチ、ボタン等で構成される操作表示盤５１とを備える。

制御盤５０は、加工部３のアクチュエータやセンサ（いずれも不図示）に接続されて、加工工程を実施するための加工動作パラメータやセンサの検出信号に応じてアクチュエータに制御指令を送ることで、加工部３による加工工程を制御する。制御盤５０は、撮像部４に撮像指令を送り、その結果として撮像部４により撮像された撮像画像を受け取る。制御盤５０は、撮像画像を判定用画像として加工面判定装置７に送り、その結果として、加工面判定装置７により判定された加工面１００の状態を受け取る。なお、制御盤５０は、撮像画像を機械学習装置６に送るようにしてもよい。

操作表示盤５１は、作業者の操作を受け付けるとともに、各種の情報を表示や音で出力する。

機械学習装置６は、機械学習における学習フェーズの主体として動作する。機械学習装置６は、学習用画像と当該学習用画像に含まれる加工面１００の状態を分類した分類結果との相関関係を機械学習させた学習モデル２を生成し、加工面判定装置７に任意の通信網や記録媒体等を介して学習モデル２を提供する。機械学習装置６の詳細は後述する。

加工面判定装置７は、機械学習における推論フェーズの主体として動作する。加工面判定装置７は、機械学習装置６により生成された学習モデル２を用いて、撮像部４により撮像された加工面１００の画像を判定用画像として、判定対象物１０の加工面１００の状態を判定する。加工面判定装置７の詳細は後述する。

なお、加工システム１の各構成要素は、１つの筐体に組み込まれることで、例えば、１つの工作機械として構成されていてもよく、その場合には、機械学習装置６及び加工面判定装置７の少なくとも一方は、制御装置５に組み込まれてもよい。また、加工システム１の各構成要素は、加工部３を備える加工装置と、撮像部４及び加工面判定装置７を備える検査装置とで構成されてもよく、その場合には、制御装置５の機能が加工装置と検査装置とに分散されてもよい。さらに、加工システム１の各構成要素は、無線又は有線のネットワークにより接続されることで、機械学習装置６及び加工面判定装置７の少なくとも一方は、加工部３及び撮像部４が設置された加工現場とは離れた場所に設置されてもよく、その場合には、制御装置５は、加工現場に設置されてもよいし、他の場所に設置されてもよい。

図２は、機械学習装置６及び加工面判定装置７を構成するコンピュータ２００の一例を示すハードウエア構成図である。

機械学習装置６及び加工面判定装置７のそれぞれは、汎用又は専用のコンピュータ２００により構成される。コンピュータ２００は、図２に示すように、その主要な構成要素として、バス２１０、プロセッサ２１２、メモリ２１４、入力デバイス２１６、表示デバイス２１８、ストレージ装置２２０、通信Ｉ／Ｆ（インターフェース）部２２２、外部機器Ｉ／Ｆ部２２４、Ｉ／Ｏ（入出力）デバイスＩ／Ｆ部２２６、及び、メディア入出力部２２８を備える。なお、上記の構成要素は、コンピュータ２００が使用される用途に応じて適宜省略されてもよい。

プロセッサ２１２は、１つ又は複数の演算処理装置（ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ等）で構成され、コンピュータ２００全体を統括する制御部として動作する。メモリ２１４は、各種のデータ及びプログラム２３０を記憶し、例えば、メインメモリとして機能する揮発性メモリ（ＤＲＡＭ、ＳＲＡＭ等）と、不揮発性メモリ（ＲＯＭ、フラッシュメモリ等）とで構成される。

入力デバイス２１６は、例えば、キーボード、マウス、テンキー、電子ペン等で構成される。表示デバイス２１８は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー、プロジェクタ等で構成される。入力デバイス２１６及び表示デバイス２１８は、タッチパネルディスプレイのように、一体的に構成されていてもよい。ストレージ装置２２０は、例えば、ＨＤＤ、ＳＳＤ等で構成され、オペレーティングシステムやプログラム２３０の実行に必要な各種のデータを記憶する。

通信Ｉ／Ｆ部２２２は、インターネットやイントラネット等のネットワーク２４０に有線又は無線により接続され、所定の通信規格に従って他のコンピュータとの間でデータの送受信を行う。外部機器Ｉ／Ｆ部２２４は、プリンタ、スキャナ等の外部機器２５０に有線又は無線により接続され、所定の通信規格に従って外部機器２５０との間でデータの送受信を行う。Ｉ／ＯデバイスＩ／Ｆ部２２６は、各種のセンサ、アクチュエータ等のＩ／Ｏデバイス２６０に接続され、Ｉ／Ｏデバイス２６０との間で、例えば、センサによる検出信号やアクチュエータへの制御信号等の各種の信号やデータの送受信を行う。メディア入出力部２２８は、例えば、ＤＶＤドライブ、ＣＤドライブ等のドライブ装置で構成され、ＤＶＤ、ＣＤ等のメディア２７０に対してデータの読み書きを行う。

上記構成を有するコンピュータ２００において、プロセッサ２１２は、プログラム２３０をメモリ２１４のワークメモリ領域に呼び出して実行し、バス２１０を介してコンピュータ２００の各部を制御する。なお、プログラム２３０は、メモリ２１４の代わりに、ストレージ装置２２０に記憶されていてもよい。プログラム２３０は、インストール可能なファイル形式又は実行可能なファイル形式でＣＤ、ＤＶＤ等の非一時的な記録媒体に記録され、メディア入出力部２２８を介してコンピュータ２００に提供されてもよい。プログラム２３０は、通信Ｉ／Ｆ部２２２を介してネットワーク２４０経由でダウンロードすることによりコンピュータ２００に提供されてもよい。また、コンピュータ２００は、プロセッサ２１２がプログラム２３０を実行することで実現する各種の機能を、例えば、ＦＰＧＡ、ＡＳＩＣ等のハードウエアで実現するものでもよい。

コンピュータ２００は、例えば、据置型コンピュータや携帯型コンピュータで構成され、任意の形態の電子機器である。コンピュータ２００は、クライアント型コンピュータでもよいし、サーバ型コンピュータやクラウド型コンピュータでもよい。コンピュータ２００は、機械学習装置６及び加工面判定装置７以外の他の装置に適用されてもよい。

（機械学習装置６）
図３は、実施形態に係る機械学習装置６の一例を示すブロック図である。

機械学習装置６は、学習用データ取得部６０、学習用データ記憶部６１、機械学習部６２、及び、学習済みモデル記憶部６３を備える。機械学習装置６は、例えば、図２に示すコンピュータ２００で構成される。その場合、学習用データ取得部６０は、通信Ｉ／Ｆ部２２２又はＩ／ＯデバイスＩ／Ｆ部２２６とプロセッサ２１２とで構成され、機械学習部６２は、プロセッサ２１２で構成され、学習用データ記憶部６１及び学習済みモデル記憶部６３は、ストレージ装置２２０で構成される。

学習用データ取得部６０は、各種の外部装置と通信網を介して接続され、入力データ及び出力データが対応付けられた学習用データを取得するインタフェースユニットである。外部装置は、例えば、撮像部４、加工面判定装置７、及び、作業者が使用する作業者用端末８等である。

学習用データ記憶部６１は、学習用データ取得部６０で取得した学習用データを複数組記憶するデータベースである。なお、学習用データ記憶部６１を構成するデータベースの具体的な構成は適宜設計すればよい。

機械学習部６２は、学習用データ記憶部６１に記憶された学習用データを用いて機械学習を実施する。すなわち、機械学習部６２は、学習モデル２に学習用データを複数組入力することで、学習用データに含まれる入力データと出力データとの相関関係を学習モデル２に機械学習させることで、学習モデル２を生成する。

学習済みモデル記憶部６３は、機械学習部６２により生成された学習モデル２を記憶するデータベースである。学習済みモデル記憶部６３に記憶された学習モデル２は、任意の通信網や記録媒体等を介して実システム（例えば、加工面判定装置７）に提供される。なお、学習モデル２は、外部コンピュータ（例えば、サーバ型コンピュータやクラウド型コンピュータ）に提供されて、外部コンピュータの記憶部に記憶されてもよい。また、図３では、学習用データ記憶部６１と、学習済みモデル記憶部６３とが別々の記憶部として示されているが、これらは単一の記憶部で構成されてもよい。

図４は、学習用データの一例を示すデータ構成図である。

学習用データは、学習用画像４１を入力データとし、当該学習用画像４１に含まれる加工面１００の状態を複数の加工状態のいずれかに分類した分類結果を出力データとしてそれぞれ含み、これらの入力データ及び出力データが対応付けられて構成される。

入力データとしての学習用画像４１は、撮像部４により判定対象物１０の加工面１００が撮像された所定の撮像画像領域４００を有する撮像画像４０を学習用画像領域４１０に分割することで生成される複数の画像の各々である。

撮像画像４０の撮像画像領域４００は、撮像部４により撮像された領域であり、撮像部４の画角により定められる。図４に示す撮像画像領域４００は、判定対象物１０である羽根車が有する１つの羽根の一部分を含むように設定されている。なお、図４に示す撮像画像４０には、加工面１００だけでなく、背景１１０についても撮像されているが、背景１１０が撮像されないように、撮像画像領域４００が設定されてもよい。

学習用画像４１の学習用画像領域４１０は、図４に示すように、学習用画像領域４１０の各々が正方形状となるように、撮像画像４０の撮像画像領域４００を格子状に分割したものである。なお、学習用画像領域４１０の画像数、形状、大きさ及び縦横比は、適宜変更してもよく、例えば、長方形状でもよいし、他の形状でもよい。また、撮像画像領域４００を学習用画像領域４１０に分割するときの分割方法は、適宜変更してもよく、例えば、千鳥状に分割してもよいし、他の基準に従って分割してもよい。

出力データとしての分類結果は、教師あり学習において、例えば、教師データや正解ラベルと称される。複数の加工状態として、例えば、「良」及び「不良」の２クラスを採用する場合には、分類結果は、「良」及び「不良」のいずれかで表される。複数の加工状態として、「良」、「可」及び「不良」の３クラスを採用する場合には、分類結果は、「良」、「可」及び「不良」のいずれかで表される。なお、加工面１００の状態を分類する際の複数の加工状態は、上記のようなクラスに限定されず、例えば、４クラス以上に分類されてもよいし、他の観点で分類されてもよい。

さらに、学習用画像４１に撮像された加工面１００以外の背景１１０を、「判定対象外」というクラスを追加して分類することも可能であり、この場合の分類結果は、上記２クラスの例では、「良」、「不良」及び「判定対象外」のいずれかで表され、上記３クラスの例では、図４に示すように、「良」、「可」「不良」及び「判定対象外」のいずれかで表される。なお、学習用画像４１に加工面１００及び背景１１０の両方が撮像されている場合には、例えば、背景１１０の比率が所定の比率よりも高い場合には「判定対象外」のクラスに分類するようにしてもよいし、「判定対象外」のクラスに常に分類しないようにしてもよい。

学習用データ取得部６０は、学習用データを取得する方法として、各種の方法を採用することができる。例えば、学習用データ取得部６０は、加工部３により加工工程が実施された後の判定対象物１０を撮像部４で撮像された撮像画像４０を取得し、その撮像した撮像画像４０を分割することで生成される複数の学習用画像４１を作業者用端末８の表示画面に表示させる。そして、作業者が、その表示画面上の学習用画像４１の各々を視認し、学習用画像４１の各々に対するクラスを分類した結果（分類結果）を作業者用端末８により入力操作すると、学習用データ取得部６０は、表示画面上の学習用画像４１（入力データ）と、入力操作された分類結果（入力データ）とを対応付けることで学習用データを取得する。

したがって、学習用データ取得部６０は、１枚の撮像画像４０から複数枚の学習用画像
４１に分割したときの分割数に相当する数の学習用データを取得することができ、さらに上記の作業を繰り返すことで所望の数の学習用データを取得することができる。そのため、学習用データを容易に収集することができる。

図５は、学習モデル２に適用される推論モデル２０の一例を示す概略図である。

推論モデル２０は、機械学習の具体的な手法として、畳み込みニューラルネットワーク（ＣＮＮ（Convolutional Neural Network））を採用したものである。推論モデル２０は、入力層２１、中間層２２、及び、出力層２３を備える。

入力層２１は、入力データとしての学習用画像４１に対応する数のニューロンを有し、各ピクセルの画素値が各ニューロンにそれぞれ入力される。

中間層２２は、畳み込み層２２ａ、プーリング層２２ｂ及び全結合層２２ｃから構成されている。畳み込み層２２ａ及びプーリング層２２ｂは、例えば、交互に複数層設けられている。畳み込み層２２ａ及びプーリング層２２ｂは、入力層２１を介して入力された画像から特徴量を抽出する。全結合層２２ｃは、畳み込み層２２ａ及びプーリング層２２ｂにより画像から抽出された特徴量を、例えば、活性化関数によって変換し、特徴ベクトルとして出力する。なお、全結合層２２ｃは、複数層設けられていてもよい。

出力層２３は、全結合層２２ｃから出力された特徴ベクトルに基づいて、分類結果を含む出力データを出力する。なお、出力データは、分類結果の他に、例えば、分類結果の信頼度を示すスコアを含むものでもよい。

推論モデル２０の各層の間には、層間のニューロンをそれぞれ接続するシナプスが張られており、中間層２２の畳み込み層２２ａ及び全結合層２２ｃの各シナプスには、重みが対応付けられている。

機械学習部６２は、学習用データを推論モデル２０に入力し、学習用画像４１と分類結果との相関関係を推論モデル２０に機械学習させる。具体的には、機械学習部６２は、学習用データを構成する学習用画像４１を入力データとして、推論モデル２０の入力層２１に入力する。なお、機械学習部６２は、学習用画像４１を入力層２１に入力する際の前処理として、所定の画像調整（例えば、画像フォーマット、画像サイズ、画像フィルタ、画像マスク等）を学習用画像４１に施してもよい。

機械学習部６２は、出力層２３から出力された出力データが示す分類結果（推論結果）と、当該学習用データを構成する分類結果（教師データ）とを比較する誤差関数を用いて、誤差関数の評価値が小さくなるように、各シナプスに対応付けられた重みを調整する（バックプロバケーション）ことを反復する。そして、機械学習部６２は、上記の一連の処理を所定の回数反復実施することや、誤差関数の評価値が許容値より小さくなること等の所定の学習終了条件が満たされたと判断した場合には、機械学習を終了し、そのときの推論モデル２０（各シナプスのそれぞれに対応付けられた全ての重み）を、学習モデル２として学習済みモデル記憶部６３に格納する。

（加工面判定装置７）
図６は、実施形態に係る加工面判定装置７の一例を示すブロック図である。

加工面判定装置７は、画像取得部７０、推論部７１、学習済みモデル記憶部７２、分類結果処理部７３、判定部７４、及び、出力処理部７５を備える。加工面判定装置７は、例えば、図２に示すコンピュータ２００で構成される。その場合、画像取得部７０は、通信
Ｉ／Ｆ部２２２又はＩ／ＯデバイスＩ／Ｆ部２２６とプロセッサ２１２とで構成され、推論部７１、分類結果処理部７３、判定部７４、及び、出力処理部７５は、プロセッサ２１２で構成され、学習済みモデル記憶部７２は、ストレージ装置２２０で構成される。

画像取得部７０は、撮像部４に接続されて、撮像部４により判定対象物１０の加工面１００が撮像された撮像画像を、所定の判定用画像領域を有する判定用画像４２として取得するインタフェースユニットである。

推論部７１は、判定用画像領域を小画像領域に分割することで判定用画像４２から生成される複数の小画像４３の各々を学習モデル２に入力することにより、複数の小画像４３に対する分類結果を小画像単位で推論する推論処理（後述の図７参照）を行う。その際、推論部７１は、複数の小画像４３から分割前の判定用画像４２を再構築できるように、判定用画像領域４２０に対する各小画像領域４３０の位置関係を、例えば、小画像４３の付加情報として記録する。なお、推論部７１の一部又は全ては、外部コンピュータ（例えば、サーバ型コンピュータやクラウド型コンピュータ）のプロセッサで代用されてもよく、推論部７１による推論処理の一部又は全てが、外部コンピュータで実行されてもよい。

学習済みモデル記憶部７２は、推論部７１の推論処理にて用いられる学習済みの学習モデル２を記憶するデータベースである。なお、学習済みモデル記憶部７２に記憶される学習モデル２の数は１つに限定されず、例えば、機械学習の手法、加工部３による加工工程、判定対象物１０等の条件が異なる複数の学習済みモデルが記憶され、選択的に利用可能としてもよい。また、学習済みモデル記憶部７２は、外部コンピュータ（例えば、サーバ型コンピュータやクラウド型コンピュータ）の記憶部で代用されてもよく、その場合には、推論部７１は、当該外部コンピュータにアクセスすることで、上記の推論処理を行ってもよい。

分類結果処理部７３は、小画像単位で推論された複数の小画像４３に対する分類結果を処理することで処理結果を求める（後述の図８参照）。その際、推論部７１が、小画像４３に撮像された背景１１０を判定対象外に分類する分類器として機能する場合には、分類結果処理部７３は、複数の小画像４３に対する分類結果のうち判定対象外に分類された小画像４３以外の小画像４３に対する分類結果を処理することで処理結果を求めるようにしてもよい。

分類結果処理部７３が複数の小画像４３に対する分類結果を処理する方法には、例えば、割合、分布、統計量等を基準とする任意の方法を採用することができる。なお、複数の基準が組み合わせられてもよいし、他の基準が用いられてもよい。

例えば、割合を基準とする場合、分類結果処理部７３は、処理結果として、加工面１００が撮像された小画像４３の全体数に対する、複数の加工状態のうち所定の加工状態に分類された小画像４３の合計数の割合を求める。すなわち、分類結果処理部７３は、分割前の判定用画像４２全体に対して、所定の加工状態に分類された小画像４３がどのくらいを占めるのかという観点で加工面１００の状態を評価するために上記の割合を求める。

また、分布を基準とする場合、分類結果処理部７３は、処理結果として、加工面１００が撮像された小画像４３の集合に対する、複数の加工状態のうち所定の加工状態に分類された小画像４３の集合の分布を求める。すなわち、分類結果処理部７３は、分割前の判定用画像４２全体に対して、所定の加工状態に分類された小画像４３がどのような位置に、どのようなばらつき度合いで存在するのかという観点で加工面１００の状態を評価するために上記の分布を求める。

判定部７４は、分類結果処理部７３により求められた処理結果に基づいて、加工面１００の状態を判定する。具体的には、判定部７４は、加工面１００の状態として、加工面１００を加工したときと同一の加工工程を再度行う再加工の要否、加工面１００を加工したときと異なる加工工程を行う別加工の要否、加工面１００に対して作業者が仕上げ加工を行う仕上げ加工の要否、及び、加工面１００のうち再加工、別加工又は仕上げ加工を行う対象とする加工範囲、の少なくとも１つを判定する。

出力処理部７５は、判定部７４により判定された判定結果を出力するための出力処理を行う。判定結果を出力するための具体的な出力手段は、種々の手段を採用することが可能である。例えば、出力処理部７５は、判定結果に応じて、制御盤５０を介して再加工や別加工の動作指令を加工部３に送信したり、操作表示盤５１や作業者用端末８を介して作業者に仕上げ加工の実施を表示や音で報知したり、加工部３の動作履歴として制御盤５０の記憶手段に記憶したりしてもよい。なお、出力処理部７５は、判定部７４による加工面１００の判定結果を出力（送信、報知、記憶）するだけでもよいし、加工面１００の判定結果の他に、推論部７１による複数の小画像４３に対する分類結果、又は、分類結果処理部７３による処理結果を出力（送信、報知、記憶）してもよい。

図７は、推論部７１による推論処理の一例を示す機能説明図である。

判定用画像４２の判定用画像領域４２０は、撮像部４により撮像された領域であり、撮像部４の画角により定められる。図７に示す判定用画像領域４２０は、図４に示す撮像画像領域４００と同様に、判定対象物１０である羽根車が有する１つの羽根の一部分を含むように設定されている。なお、判定用画像領域４２０は、撮像画像領域４００と異なる位置に設定されてもよいし、両者の画像数、形状、大きさ及び縦横比が異なるものでもよい。

小画像４３の小画像領域４３０は、図７に示すように、小画像領域４３０の各々が正方形状となるように、判定用画像４２の判定用画像領域４２０を格子状に分割したものである。小画像４３の小画像領域４３０は、機械学習装置６にて学習モデル２を生成したときの学習用画像４１の学習用画像領域４１０に相当するものであり、両者の画像数、形状、大きさ及び縦横比は同一又は同程度であることが好ましい。

したがって、小画像領域４３０の画像数、形状、大きさ及び縦横比が、学習用画像領域４１０の画像数、形状、大きさ及び縦横比に相当するのであれば、判定用画像領域４２０を小画像領域４３０に分割するときの分割方法は、適宜変更してもよく、例えば、千鳥状に分割してもよいし、他の基準に従って分割してもよい。その際、判定用画像領域４２０を小画像領域４３０に分割するときの分割方法は、撮像画像領域４００を学習用画像領域４１０に分割するときの分割方法と同一でもよいし、異なるものでもよい。

ここで、学習モデル２は、小画像領域４３０に相当する学習用画像領域４１０を有する学習用画像４１と当該学習用画像４１に含まれる加工面１００の状態を複数の加工状態のいずれかに分類した分類結果との相関関係を機械学習装置６にて機械学習させたものである。したがって、推論部７１は、小画像４３の各々を学習モデル２に入力することにより、小画像単位で、小画像４３に撮像された加工面１００の状態を複数の加工状態のいずれかに分類する分類器として機能する。複数の加工状態として、２クラス（良、不良）を採用する場合には、推論部７１による分類結果は、２クラス（良、不良）で表され、複数の加工状態として、３クラス（良、可、不良）を採用する場合には、推論部７１による分類結果は、３クラス（良、可、不良）で表される。

また、学習モデル２は、加工面１００又は加工面１００以外の背景１１０の少なくとも
一方が撮像された学習用画像４１と当該学習用画像４１に撮像された加工面１００の状態を複数の加工状態のいずれかに分類するとともに当該学習用画像４１に撮像された背景１１０を判定対象外に分類した分類結果との相関関係を機械学習装置６にて機械学習させたものでもよい。この場合、推論部７１は、小画像４３の各々を学習モデル２に入力することにより、小画像単位で、小画像４３に撮像された加工面１００の状態を複数の加工状態のいずれかに分類するとともに、小画像４３に撮像された背景１１０を判定対象外に分類する分類器として機能する。分類結果には、複数の加工状態にさらに判定対象外が加わるため、上記の例における推論部７１による分類結果は、３クラス（良、不良、判定対象外）、又は、４クラス（良、可、不良、判定対象外）で表される。

なお、推論部７１による小画像４３に対する分類結果は、各クラスに対するスコア（信頼度）を含むものでもよい。この場合、分類結果が、４クラス（良、可、不良、判定対象外）で表されるものとすると、特定の小画像４３に対するクラス毎のスコアは、例えば、「０．０２」、「０．１０」、「０．９５」、「０．３１」のように出力される。スコアの利用方法は、任意の方法を採用すればよく、例えば、スコアが最も高いクラス（上記の例では、スコア「０．９５」の不良）を小画像４３に対する分類結果としてもよいし、所定のクラスのスコアが所定のスコア基準値を超えている場合（上記の例では、「不良」のクラスのスコア「０．９５」がスコア基準値「０．８０」を超えている場合）、当該クラスを小画像４３に対する分類結果としてもよい。

また、推論部７１による小画像４３に対する分類結果は、学習済みモデル記憶部７２や他の記憶装置（不図示）に記憶することが好ましく、過去の分類結果は、例えば、学習済みの学習モデル２の推論精度の更なる向上のため、オンライン学習や再学習に用いられる学習用データとして利用することが可能である。

図８は、割合を基準とする場合の分類結果処理部７３及び判定部７４の一例を示す機能説明図である。図９は、分布を基準とする場合の分類結果処理部７３及び判定部７４の一例を示す機能説明図である。

分類結果処理部７３及び判定部７４の具体例について、１枚の判定用画像４２が、図８、図９に示すように、６０枚の小画像４３に分割された場合を想定して説明する。

図８に示すように、割合を基準とする処理結果を採用する場合、分類結果処理部７３は、例えば、「判定対象外」に分類された小画像４３の１１枚を除いた残りの小画像４３、すなわち、加工面１００が撮像された小画像４３の全体数を４９枚と求める。そして、分類結果処理部７３は、その全体数（４９枚）に対して、「良」に分類された小画像４３の合計数（２５枚）の第１の割合や、「良」及び「可」に分類された小画像４３の合計数（４０枚）の第２の割合や、「不良」に分類された小画像４３の合計数（１１枚）の第３の割合を求める。なお、分類結果処理部７３は、第１乃至第３の割合の全てを求めてもよいし、いずれかを求めてよいし、他の計算式に基づく割合を求めてもよい。

判定部７４は、上記のように処理結果として求められた割合と、所定の割合基準値とを比較することで、加工面１００の状態を判定する。例えば、判定部７４は、第１の割合が８０％（割合基準値）以上である場合には、再加工「不要」、別加工「不要」、又は、仕上げ加工「不要」と判定してもよい。また、第２の割合が７０％以下である場合には、再加工「要」と判定してもよい。さらに、第３の割合が５０％以上である場合には、別加工「要」と判定し、第３の割合が１０％～５０％である場合には、再加工「要」と判定し、第３の割合が５％～１０％である場合には、仕上げ加工「要」と判定してもよい。なお、判定部７４は、再加工「要」、別加工「要」、又は、仕上げ加工「要」と判定した場合には、例えば、「不良」に分類された小画像４３を少なくとも含む範囲を加工範囲として判
定してもよい。

図９に示すように、分布を基準とする処理結果を採用する場合、分類結果処理部７３は、例えば、「判定対象外」に分類された小画像４３の１１枚を除いた残りの小画像４３、すなわち、加工面１００が撮像された小画像４３の集合（加工面集合１２０）を求める。そして、分類結果処理部７３は、その加工面集合１２０に対して、例えば、「不良」に分類された小画像４３の集合（不良集合１３０）の分布を求める。加工面集合１２０に対する不良集合１３０の分布としては、例えば、「不良」に分類された９枚の小画像４３が隣接するようにして、加工面集合１２０の特定部分に集まっている第１の分布状況（図９の左側）を表したり、「不良」に分類された３枚の小画像４３がそれぞれ隣接することなく、加工面集合１２０の全体に分散している第２の分布状況（図９の右側）を表したりする。

そして、判定部７４は、上記のように処理結果として求められた分布と、所定の分布基準とを比較することで、加工面１００の状態を判定する。例えば、判定部７４は、加工面集合１２０に対する不良集合１３０の分布が第１の分布状況である場合には、再加工「要」、別加工「要」、又は、仕上げ加工「不要」と判定してもよい。また、第２の分布状況である場合には、再加工「不要」、別加工「不要」、又は、仕上げ加工「要」と判定してもよい。なお、判定部７４は、再加工「要」、別加工「要」、又は、仕上げ加工「要」と判定した場合には、不良集合１３０を少なくとも含む範囲を加工範囲として判定してもよい。

なお、推論部７１による小画像４３に対する分類結果が、各クラスに対するスコアを含む場合には、分類結果処理部７３は、当該スコアを利用して処理結果を求めてもよい。例えば、分類結果処理部７３は、全体数に対して、「良」のクラスのスコアが所定のスコア基準値（例えば、「０．９０」）を超えている小画像４３の合計数の割合を求めてもよいし、加工面集合１２０に対して、「良」のクラスのスコアが所定のスコア基準値（例えば、「０．９０」）を超えている小画像４３の集合の分布を求めてもよい。

（加工面判定方法）
図１０は、実施形態に係る加工面判定装置７による加工面判定方法の一例を示すフローチャートである。なお、図１０に示す一連の加工面判定方法は、加工面判定装置７により所定のタイミングにて繰り返し実行されるものである。所定のタイミングは、任意のタイミングでよく、例えば、加工部３による加工工程が終了した後でもよいし、加工工程の途中でもよいし、所定の事象発生時（作業者の操作時、生産管理システムからの指示時等）でもよい。以下では、加工面判定方法が、加工部３による加工工程が終了した後に、当該加工工程により加工された判定対象物１０に対して実行される場合について説明する。

まず、ステップ１００において、加工部３による加工工程が終了すると、当該加工工程により加工された判定対象物１０の加工面１００が撮像部４により撮像されて、撮像画像が制御装置５を経由して加工面判定装置７に送られることで、加工面判定装置７の画像取得部７０が、当該撮像画像を判定用画像４２として取得する。

次に、ステップＳ１１０において、推論部７１は、判定用画像４２に対する前処理として、判定用画像４２の判定用画像領域４２０を小画像領域４３０に分割することで複数の小画像４３を生成する。

次に、ステップＳ１２０～Ｓ１２６において、推論部７１は、複数の小画像４３の分割数をＫとして、複数の小画像４３に通し番号（１≦ｎ≦Ｋ）をそれぞれ割り当てた状態で、変数ｉを「１」から「Ｋ」までインクリメントすることにより、ループ処理を実行する
。

具体的には、ステップＳ１２０において、推論部７１は、変数ｉを「１」で初期化する。次に、ステップＳ１２２において、推論部７１は、ｉ番目の小画像４３を選択し、学習モデル２の入力層２１に入力することにより、当該学習モデル２の出力層２３から出力された分類結果を取得する。

次に、ステップＳ１２４において、変数ｉをインクリメントし、ステップＳ１２６において、変数ｉが分割数Ｋを超えたか否かを判定する。そして、推論部７１は、変数ｉが分割数Ｋを超えるまで上記ステップＳ１２２、Ｓ１２４を繰り返すことで、複数の小画像４３に対する分類結果を小画像単位で推論する。

次に、ステップＳ１３０において、分類結果処理部７３は、分類結果に対する後処理として、小画像単位で推論された複数の小画像４３に対する分類結果を処理することで処理結果（例えば、割合、分布、統計量等）を求める。

次に、ステップＳ１４０において、判定部７４は、分類結果処理部７３により求められた処理結果に基づいて、加工面１００の状態（例えば、再加工の要否、別加工の要否、仕上げ加工の要否、加工範囲等）を判定する。

次に、ステップＳ１５０において、出力処理部７５は、判定部７４により判定された判定結果に応じた情報を出力手段（例えば、制御装置５、作業者用端末８等）に出力する。そして、図１０に示す一連の加工面判定方法を終了する。加工面判定方法において、ステップＳ１００が画像取得工程、ステップＳ１１０～Ｓ１２６が推論工程、ステップＳ１３０が分類結果処理工程、ステップＳ１４０が判定工程、ステップＳ１５０が出力処理工程に相当する。

以上のように、本実施形態に係る加工面判定装置７及び加工面判定法によれば、推論部７１が、判定用画像領域４２０を小画像領域４３０に分割することで判定用画像４２から生成される複数の小画像４３の各々を学習モデル２に入力することにより、複数の小画像４３に対する分類結果を小画像単位で推論し、分類結果処理部７３が、小画像単位で推論された複数の小画像４３に対する分類結果を処理することで処理結果を求め、判定部７４が、処理結果に基づいて加工面１００の状態を判定する。

そのため、学習モデル２による分類結果は、判定用画像４２が分割された小画像４３の各々が入力されることにより小画像単位で推論されるので、１枚の判定用画像を学習モデル２に入力する場合に比べて、機械学習に必要な学習データの収集が容易であるとともに、学習モデル２の精度を向上することができる。そして、学習モデル２による分類結果に対する後処理として、複数の小画像４３に対する分類結果を処理することで求められた処理結果に基づいて加工面１００の状態が判定される。したがって、判定対象物１０が有する加工面１００の状態を自動的に判定することができる。

（他の実施形態）
本発明は上述した実施形態に制約されるものではなく、本発明の主旨を逸脱しない範囲内で種々変更して実施することが可能である。そして、それらはすべて、本発明の技術思想に含まれるものである。

例えば、上記実施形態では、図７に示す判定用画像領域４２０は、判定対象物１０の羽根車が有する１つの羽根の一部分を判定対象の加工面１００として含むように設定されたものである。これに対し、判定用画像領域４２０は、羽根車全体に拡大することで、羽根
車が有する複数の羽根を、判定対象の複数の加工面１００として含むように設定されてもよい。すなわち、判定対象物１０が、加工部３により異なる加工工程を経てそれぞれ加工された複数の加工面１００を有する場合には、判定用画像領域４２０は、複数の加工面１００を含むように設定されてもよい。

この場合、画像取得部７０は、複数の加工面１００が撮像された判定用画像４２を取得する。そして、分類結果処理部７３は、複数の小画像４３に対する分類結果を加工面毎に処理して処理結果を求め、判定部７４は、処理結果に基づいて複数の加工面１００の状態を加工面毎に判定する。なお、推論部７１は、上記実施形態と同様に、判定用画像４２から生成される複数の小画像４３の各々を、学習モデル２に入力することにより、複数の小画像４３に対する分類結果を小画像単位で推論すればよい。また、判定用画像４２における複数の加工面１００の境界は、事前に設定されてもよいし、判定用画像４２に対する画像処理により設定されてもよいし、分類結果に基づいて設定されてもよい。

また、上記実施形態では、機械学習部６２による機械学習の具体的な手法として、ＣＮＮ（図５参照）を採用した場合について説明したが、機械学習部６２は、任意の他の機械学習の手法を採用してもよい。他の機械学習の手法としては、例えば、決定木、回帰木等のツリー型、バギング、ブースティング等のアンサンブル学習、再帰型ニューラルネットワーク、畳み込みニューラルネットワーク等のニューラルネット型(ディープラーニング
を含む)、階層型クラスタリング、非階層型クラスタリング、ｋ近傍法、ｋ平均法等のク
ラスタリング型、主成分分析、因子分析、ロジスティク回帰等の多変量解析、サポートベクターマシン等が挙げられる。

（加工面判定プログラム）
本発明は、図２に示すコンピュータ２００を、上記実施形態に係る加工面判定装置７が備える各部として機能させるプログラム（加工面判定プログラム）２３０の態様で提供することができる。また、本発明は、図２に示すコンピュータ２００に、上記実施形態に係る加工面判定方法が備える各工程を実行させるためのプログラム（加工面判定プログラム）２３０の態様で提供することもできる。

（推論装置、推論方法及び推論プログラム）
本発明は、上記実施形態に係る加工面判定装置７（加工面判定方法又は加工面判定プログラム）の態様によるもののみならず、加工面１００の状態を判定するために用いられる推論装置（推論方法又は推論プログラム）の態様で提供することもできる。その場合、推論装置（推論方法又は推論プログラム）としては、メモリと、プロセッサとを含み、このうちのプロセッサが、一連の処理を実行するものとすることができる。当該一連の処理とは、加工面１００が撮像された所定の判定用画像領域４２０を有する判定用画像４２を取得する画像取得処理（画像取得工程）と、画像取得処理にて判定用画像４２を取得すると、判定用画像領域４２０を小画像領域４３０に分割することで判定用画像４２から生成される複数の小画像４３の各々に対して、加工面１００の状態を複数の加工状態のいずれかに分類した分類結果を小画像単位で推論する推論処理（推論工程）と、小画像単位で推論された複数の小画像４３に対する分類結果を処理することで処理結果を求める分類結果処理（分類結果処理工程）と、処理結果に基づいて、加工面１００の状態を判定する判定処理（判定工程）と、を含む。

推論装置（推論方法又は推論プログラム）の態様で提供することで、加工面判定装置７を実装する場合に比して簡単に種々の装置への適用が可能となる。推論装置（推論方法又は推論プログラム）が加工面１００の状態を推論する際、上記実施形態に係る機械学習装置６により生成された学習済みの学習モデル２を用いて、加工面判定装置７の推論部７１が実施する推論手法を適用してもよいことは、当業者にとって当然に理解され得るもので
ある。

１…加工システム、２…学習モデル、３…加工部、４…撮像部、５…制御装置
６…機械学習装置、７…加工面判定装置、８…作業者用端末、１０…判定対象物、
２０…推論モデル、２１…入力層、２２…中間層、２２ａ…畳み込み層、
２２ｂ…プーリング層、２２ｃ…全結合層、２３…出力層、
４０…撮像画像、４１…学習用画像、４２…判定用画像、４３…小画像、
５０…制御盤、５１…操作表示盤、
６０…学習用データ取得部、６１…学習用データ記憶部、
６２…機械学習部、６３…モデル記憶部、
７０…画像取得部、７１…推論部、７２…モデル記憶部、
７３…分類結果処理部、７４…判定部、７５…出力処理部、
１００…加工面、１１０…背景、１２０…加工面集合、１３０…不良集合、
２００…コンピュータ
４００…撮像画像領域、４１０…学習用画像領域、
４２０…判定用画像領域、４３０…小画像領域

Claims (11)

1. 判定対象物の加工面の状態を判定する加工面判定装置であって、
   前記加工面が撮像された所定の判定用画像領域を有する判定用画像を取得する画像取得部と、
   前記判定用画像領域を小画像領域に分割することで前記判定用画像から生成される複数の小画像の各々を、前記小画像領域に相当する学習用画像領域を有する学習用画像と当該学習用画像に含まれる前記加工面の状態を複数の加工状態のいずれかに分類した分類結果との相関関係を機械学習させた学習モデルに入力することにより、複数の前記小画像に対する前記分類結果を前記小画像単位で推論する推論部と、
   前記小画像単位で推論された複数の前記小画像に対する前記分類結果を処理することで処理結果を求める分類結果処理部と、
   前記処理結果に基づいて、前記加工面の状態を判定する判定部と、を備え、
   前記推論部は、
   複数の前記小画像の各々を、前記加工面又は前記加工面以外の背景の少なくとも一方が撮像された前記学習用画像と当該学習用画像に撮像された前記加工面の状態を複数の加工状態のいずれかに分類するとともに当該学習用画像に撮像された前記背景を判定対象外に分類した分類結果との相関関係を機械学習させた学習モデルに入力することにより、複数の前記小画像に対する前記分類結果を前記小画像単位で推論し、
   前記分類結果処理部は、
   前記小画像単位で推論された複数の前記小画像に対する前記分類結果のうち前記判定対象外に分類された前記小画像以外の前記小画像に対する前記分類結果を処理することで前記処理結果を求める、
   加工面判定装置。
2. 判定対象物の加工面の状態を判定する加工面判定装置であって、
   前記加工面が撮像された所定の判定用画像領域を有する判定用画像を取得する画像取得部と、
   前記判定用画像領域を小画像領域に分割することで前記判定用画像から生成される複数の小画像の各々を、前記小画像領域に相当する学習用画像領域を有する学習用画像と当該学習用画像に含まれる前記加工面の状態を複数の加工状態のいずれかに分類した分類結果
   との相関関係を機械学習させた学習モデルに入力することにより、複数の前記小画像に対する前記分類結果を前記小画像単位で推論する推論部と、
   前記小画像単位で推論された複数の前記小画像に対する前記分類結果を処理することで処理結果を求める分類結果処理部と、
   前記処理結果に基づいて、前記加工面の状態を判定する判定部と、を備え、
   前記判定部は、
   前記加工面の状態として、
   前記加工面を加工したときと同一の加工工程を再度行う再加工の要否、
   前記加工面を加工したときと異なる加工工程を行う別加工の要否、
   前記加工面に対して作業者が仕上げ加工を行う仕上げ加工の要否、及び、
   前記加工面のうち前記再加工、前記別加工又は前記仕上げ加工を行う対象とする加工範囲、
   の少なくとも１つを判定する、
   加工面判定装置。
3. 前記分類結果処理部は、
   前記処理結果として、前記加工面が撮像された前記小画像の全体数に対する、複数の前記加工状態のうち所定の加工状態に分類された前記小画像の合計数の割合を求める、
   請求項１又は請求項２に記載の加工面判定装置。
4. 前記分類結果処理部は、
   前記処理結果として、前記加工面が撮像された前記小画像の集合に対する、複数の前記加工状態のうち所定の加工状態に分類された前記小画像の集合の分布を求める、
   請求項１又は請求項２に記載の加工面判定装置。
5. 前記画像取得部は、
   複数の前記加工面が撮像された前記判定用画像を取得し、
   前記分類結果処理部は、
   複数の前記小画像に対する前記分類結果を前記加工面毎に処理して処理結果を求め、
   前記判定部は、前記処理結果に基づいて複数の前記加工面の状態を前記加工面毎に判定する、
   請求項１乃至請求項４のいずれか一項に記載の加工面判定装置。
6. 前記加工面は、研磨工程、研削工程、切削工程又は鋳造工程により前記判定対象物が加工されたときの当該判定対象物の表面である、
   請求項１乃至請求項５のいずれか一項に記載の加工面判定装置。
7. 前記判定対象物は、流体機械又は前記流体機械を構成する流体部品である、
   請求項１乃至請求項６のいずれか一項に記載の加工面判定装置。
8. コンピュータを、請求項１乃至請求項７のいずれか一項に記載の加工面判定装置として機能させる、
   加工面判定プログラム。
9. 判定対象物の加工面を判定する加工面判定方法であって、
   前記加工面が撮像された所定の判定用画像領域を有する判定用画像を取得する画像取得工程と、
   前記判定用画像領域を小画像領域に分割することで前記判定用画像から生成される複数の小画像の各々を、前記小画像領域に相当する学習用画像領域を有する学習用画像と当該学習用画像に含まれる前記加工面の状態を複数の加工状態のいずれかに分類した分類結果
   との相関関係を機械学習させた学習モデルに入力することにより、複数の前記小画像に対する前記分類結果を前記小画像単位で推論する推論工程と、
   前記小画像単位で推論された複数の前記小画像に対する前記分類結果を処理することで処理結果を求める分類結果処理工程と、
   前記処理結果に基づいて、前記加工面の状態を判定する判定工程と、を備え、
   前記推論工程は、
   複数の前記小画像の各々を、前記加工面又は前記加工面以外の背景の少なくとも一方が撮像された前記学習用画像と当該学習用画像に撮像された前記加工面の状態を複数の加工状態のいずれかに分類するとともに当該学習用画像に撮像された前記背景を判定対象外に分類した分類結果との相関関係を機械学習させた学習モデルに入力することにより、複数の前記小画像に対する前記分類結果を前記小画像単位で推論し、
   前記分類結果処理工程は、
   前記小画像単位で推論された複数の前記小画像に対する前記分類結果のうち前記判定対象外に分類された前記小画像以外の前記小画像に対する前記分類結果を処理することで前記処理結果を求める、
   加工面判定方法。
10. 判定対象物の加工面を判定する加工面判定方法であって、
    前記加工面が撮像された所定の判定用画像領域を有する判定用画像を取得する画像取得工程と、
    前記判定用画像領域を小画像領域に分割することで前記判定用画像から生成される複数の小画像の各々を、前記小画像領域に相当する学習用画像領域を有する学習用画像と当該学習用画像に含まれる前記加工面の状態を複数の加工状態のいずれかに分類した分類結果との相関関係を機械学習させた学習モデルに入力することにより、複数の前記小画像に対する前記分類結果を前記小画像単位で推論する推論工程と、
    前記小画像単位で推論された複数の前記小画像に対する前記分類結果を処理することで処理結果を求める分類結果処理工程と、
    前記処理結果に基づいて、前記加工面の状態を判定する判定工程と、を備え、
    前記判定工程は、
    前記加工面の状態として、
    前記加工面を加工したときと同一の加工工程を再度行う再加工の要否、
    前記加工面を加工したときと異なる加工工程を行う別加工の要否、
    前記加工面に対して作業者が仕上げ加工を行う仕上げ加工の要否、及び、
    前記加工面のうち前記再加工、前記別加工又は前記仕上げ加工を行う対象とする加工範囲、
    の少なくとも１つを判定する、
    加工面判定方法。
11. 請求項１乃至請求項７のいずれか一項に記載の加工面判定装置と、
    前記判定対象物を加工する加工部と、
    前記判定対象物の加工面を撮像する撮像部と、
    前記加工面判定装置、前記加工部及び前記撮像部を制御する制御部と、を備える、
    加工システム。

Images