JP6861124B2 - 機械学習装置及び方法 - Google Patents

Description

本発明は機械学習装置及び方法に関し、例えば、画像に含まれる学習対象を機械学習する機械学習装置に適用して好適なものである。

近年、ＡＩ（Artificial Intelligence）技術が脚光を浴びており、これに伴い機械学習の研究も盛んに行われている。産業分野においても、製品検査、加工制御及びエラー監視などにおける認識精度の向上や、制御仕様の変更時におけるＳＩ（System Integration）コストの低減を目的として機械学習の研究開発が積極的に進められている。

また近年では、工場のスマート化（スマート工場化）も進められており、機械学習技術のより一層の進歩が期待されている。ここで、スマート工場とは、センサや設備を含めた工場内のあらゆる機器をインターネットに接続し、品質及び状態などの様々な情報間の因果関係の明確化を実現し、設備同士、又は設備と人が強調して動作することにより実現される工場をいう。

なお機械学習に関連して、下記非特許文献１及び２には、予め数千クラス、約150万枚の画像を学習した学習結果を画像認識プラットフォームに入れておくことで、顧客が用意する画像が少ない場合においても高精度の画像認識を行い得る画像学習のフレームワークが開示されている。

"〔AI導入〕もっと身近に劇的に 画像認識プラットフォーム"、［online］、ＮＴＴコムウェア、［平成29年7月3日検索］、インターネット〈URL: http://www.nttcom.co.jp/dl/〉 "御社専用の画像認識AI作れます、ＮＴＴコムウェア "AI初心者"企業でも業務に取り入れやすく"、［online］、日経テクノロジーonline、［平成29年7月3日検索］、インターネット〈URL:http://techon.nikkeibp.co.jp/atcl/news/16/030106520/?rt=nocnt〉

ところで、例えばスマート工場などにおいてＡＩを導入し、当該ＡＩに非特許文献１及び２に開示された技術を適用したとしても、製品仕様の変更等に伴う再学習には数か月単位の学習時間が必要となる。

そして、この学習時間は、作成に人手を要する教師データの枚数に比例するため、かかる学習時間を短縮させるためには、より多くの作業員を動員しなければならないという問題がある。一方で、かかる再学習は、工場の稼働に影響を及ぼさない時間的範囲内（例えば１日以内）で行われることが望まれる。

本発明は以上の点を考慮してなされたもので、短時間で効率良く機械学習を行い得る機械学習装置及び方法を提案しようとするものである。

かかる課題を解決するため本発明においては、外部から基本的な学習結果でなる基本学習情報を取得し、取得した前記基本学習情報をチューニングするようにして学習対象を学習する機械学習装置において、予め用意された教師データセットに基づく各画像に対する画像加工処理の要否をそれぞれ判定する要否判定部と、前記要否判定部により前記画像加工処理を施すべきと判定された各前記画像に対して必要な前記画像加工処理をそれぞれ施すことにより加工画像を生成する画像加工処理部と、前記教師データセットを用いた１回目のアクティブラーニングと、前記画像加工処理部により生成された各前記加工画像の画像データを教師データとする２回目のアクティブラーニングとを実行することにより前記基本学習情報をチューニングする学習部とを有し、前記学習対象ごとに、当該学習対象に対して学習効果が高い前記画像加工処理が予め設定され、前記要否判定部は、前記教師データセットに基づく前記画像に含まれる前記学習対象に対して前記画像加工処理が設定されている場合には、当該画像に対して当該画像加工処理を施すべきと判定し、前記画像加工処理部は、前記要否判定部により前記画像加工処理を施すべきと判定された前記画像に対して、当該画像に含まれる前記学習対象について設定された各前記画像加工処理をそれぞれ施すことにより１又は複数の当該画像の前記加工画像を生成し、前記学習対象ごとに、当該学習対象を含む前記画像に対して前記画像加工処理を施すことにより得られた前記加工画像の画像データを教師データとして前記学習部が当該学習対象を学習した場合の学習効果を予め規定された複数種類の前記画像加工処理ごとにそれぞれ評価し、評価結果に基づいて当該学習対象を含む前記画像に対して施すべき前記画像加工処理を選択して設定する学習効果評価部をさらに備え、前記学習効果評価部は、前記学習対象ごとに、当該学習対象を含む前記画像内の予め規定された複数の部位に対してそれぞれ別個に前記画像加工処理を施すことにより得られた各前記加工画像の画像データをそれぞれ教師データとして前記学習部が当該学習対象を学習した場合の学習効果を予め規定された複数種類の前記画像加工処理ごとにそれぞれ評価し、評価結果に基づいて当該学習対象を含む前記画像に対して施すべき前記画像加工処理及び当該画像加工処理を施すべき当該画像内の前記部位を設定し、前記画像加工処理部は、前記要否判定部により前記画像加工処理を施すべきと判定された前記画像に対して、当該画像に含まれる前記学習対象について設定された各前記画像加工処理を、それぞれ当該学習対象の当該画像加工処理について設定された前記部位に対して施すことにより当該画像の前記加工画像をそれぞれ生成するようにした。

また本発明においては、外部から基本的な学習結果でなる基本学習情報を取得し、取得した前記基本学習情報をチューニングするようにして学習対象を学習する機械学習装置により実行される機械学習方法において、予め用意された教師データセットを用いた１回目のアクティブラーニングを実行することにより前記基本学習情報をチューニングする第１のステップと、前記教師データセットに基づく各画像に対する画像加工処理の要否をそれぞれ判定する第２のステップと、前記画像加工処理を施すべきと判定した各前記画像に対して必要な前記画像加工処理をそれぞれ施すことにより加工画像を生成する第３のステップと、生成した各前記加工画像の画像データを教師データとする２回目のアクティブラーニングを実行することにより前記基本学習情報をチューニングする第４のステップとを有し、前記学習対象ごとに、当該学習対象に対して学習効果が高い前記画像加工処理が予め設定され、前記第２のステップにおいて、前記機械学習装置は、前記教師データセットに基づく前記画像に含まれる前記学習対象に対して前記画像加工処理が設定されている場合には、当該画像に対して当該画像加工処理を施すべきと判定し、前記第３のステップにおいて、前記機械学習装置は、前記画像加工処理を施すべきと判定した前記画像に対して、当該画像に含まれる前記学習対象について設定された各前記画像加工処理をそれぞれ施すことにより１又は複数の当該画像の前記加工画像を生成し、前記第２のステップの前に実行され、前記学習対象ごとに、当該学習対象を含む前記画像に対して前記画像加工処理を施すことにより得られた前記加工画像の画像データを教師データとして当該学習対象を学習した場合の学習効果を予め規定された複数種類の前記画像加工処理ごとにそれぞれ評価し、評価結果に基づいて当該学習対象を含む前記画像に対して施すべき前記画像加工処理を選択して設定する学習効果評価ステップを備え、前記学習効果評価ステップでは、前記学習対象ごとに、当該学習対象を含む前記画像内の予め規定された複数の部位に対してそれぞれ別個に前記画像加工処理を施すことにより得られた各前記加工画像の画像データをそれぞれ教師データとして当該学習対象を学習した場合の学習効果を予め規定された複数種類の前記画像加工処理ごとにそれぞれ評価し、評価結果に基づいて当該学習対象を含む前記画像に対して施すべき前記画像加工処理及び当該画像加工処理を施すべき当該画像内の前記部位を設定し、前記第３のステップでは、前記要否判定部により前記画像加工処理を施すべきと判定された前記画像に対して、当該画像に含まれる前記学習対象について設定された各前記画像加工処理を、それぞれ当該学習対象の当該画像加工処理について設定された前記部位に対して施すことにより当該画像の前記加工画像をそれぞれ生成するようにした。

本発明の機械学習装置及び方法によれば、必要最低限の数の教師データセットにより学習効果が高い加工画像を作成し、作成したこれらの加工画像の画像データを教師データとして学習対象を学習することができる。従って、基本学習情報を用いたことによる学習時間の短縮化に加えて、教師データセット以外の教師データを作成するための人員の動員も、そのための時間も必要なく、各段的に短い時間で学習を行うことができる。

本発明によれば、短時間で効率良く機械学習を行い得る機械学習装置及び方法を実現できる。

本実施の形態による機械学習システムの全体構成を示すブロック図である。 前処理実行要否管理テーブルの構成を示す図表である。 前処理候補項目リストの構成を示す図表である。 本実施の形態による機械学習処理の流れを示すブロック図である。 事前機械学習処理の流れを示すフローチャートである。 学習効果評価処理の処理手順を示すフローチャートである。 他の実施の形態の説明に供する特性曲線図である。

以下図面について、本発明の一実施の形態を詳述する。なお、以下においては、カメラから出力される映像データに基づく動画像を「映像」と呼び、「映像」を構成する１枚１枚の静止画を「画像」と呼ぶものとする。

（１）本実施の形態による機械学習システムの構成
図１において、１は全体として本実施の形態による機械学習システムを示す。この機械学習システム１は、スマート工場２内に配設された複数のカメラ３と、ストレージ装置４と、機械学習装置５とを備えて構成され、機械学習装置５がインターネット等のネットワーク６を介してクラウドサーバ７に接続されている。

カメラ３は、スマート工場２内の所定箇所にそれぞれ配設された汎用の撮像装置であり、撮像により得られた映像データをストレージ装置４に送信する。またストレージ装置４は、例えば、ＲＡＩＤ（Redundant Arrays of Inexpensive Disks）などの大容量の記憶装置から構成され、カメラ３から送信される映像データを現場データＤ１として記憶する。

機械学習装置５は、ＣＰＵ（Central Processing Unit）１０、メモリ１１、記憶装置１２、入力装置１３及び表示装置１４を備える汎用のコンピュータ装置から構成される。

ＣＰＵ１０は、本機械学習装置５全体の動作制御を司るプロセッサである。またメモリ１１は、例えば、揮発性の半導体メモリから構成され、各種プログラムや必要なデータを一時的に記憶保持するために利用される。後述する学習効果評価部２０、学習部２１、教師データ生成要否判定部２２、教師データ生成部２３、前処理候補項目リスト２４及び前処理実行要否管理テーブル２５もこのメモリ１１に格納されて保持される。

記憶装置１２は、ハードディスク装置やＳＳＤ（Solid State Drive）などの不揮発性記憶装置から構成され、プログラムやデータを長期間保持するために利用される。記憶装置１２に格納されたプログラムが機械学習装置５の起動時や必要時にメモリ１１にロードされ、メモリ１１にロードされたプログラムがＣＰＵ１０により実行されることにより、後述のような機械学習装置５全体としての各種処理が行われる。

入力装置１３は、キーボードやマウスなどから構成され、オペレータが必要な指令や情報を入力するために利用される。また表示装置１４は、液晶ディスプレイや有機ＥＬ（ElectroLuminescence）ディスプレイなどから構成され、必要な情報やＧＵＩ（Graphical User Interface）を表示するために利用される。

クラウドサーバ７は、ＣＰＵ及びメモリ等の情報処理資源を備える汎用のサーバ装置から構成され、種々のスマート工場において共通して利用可能な画像認識の学習結果でなるモデル（以下、これを基本学習情報と呼ぶ）２６を保持している。この基本学習情報２６は、既存のスマート工場において実行された深層学習により得られたものである。

（２）本実施の形態による事前機械学習機能
次に、かかる機械学習装置５に実装された事前機械学習機能について説明する。本機械学習装置５における機械学習方式は、クラウドサーバ７が保持する基本学習情報２６をネットワーク６を介してダウンロードし、ダウンロードした基本学習情報２６を利用してスマート工場２における学習対象の学習を行う（基本学習情報２６のチューニング）移転学習と呼ばれるものである。

そして本機械学習装置５は、基本学習情報２６をチューニングする際、予め用意された教師データセット（以下、これを初期教師データセットと呼ぶ）に基づく各画像に対して、その画像内に含まれる学習対象にとって学習効果の高い画像加工処理（以下、これらを前処理と呼ぶ）をそれぞれ施すことにより１又は複数の加工画像を生成し、生成したこれら加工画像の画像データを教師データとしてその学習対象の更なる学習を行う事前機械学習機能を有する点を特徴の１つとしている。

実際上、本機械学習システム１では、初期時、オペレータが、学習対象ごとに、予め規定された複数種類の前処理の中からその学習対象を含む画像に対してその前処理を施すことにより得られる加工画像の画像データを教師データとして学習した場合により高い学習効果が得られる１又は複数種類の前処理（以下、これを有効前処理と呼ぶ）を機械学習装置５にそれぞれ設定する。

なお、このような前処理の種類としては、画像内の学習対象及び又はその背景の輝度、彩度又は明度を変化させる画像加工処理や、画像内の学習対象及び又はその背景の左右や上下を反転させる画像加工処理などが挙げられる。

また機械学習装置５に対して学習対象ごとの有効前処理をそれぞれ設定する方法としては、予め他の場所で実行した後述の学習効果評価処理により決定された学習対象ごとの有効前処理に関する情報を機械学習装置５がクラウドサーバ７等からダウンロードして内部設定する方法や、機械学習装置５が、そのスマート工場２においてかかる学習効果評価処理を実行することにより学習対象ごとの有効前処理を決定して内部設定する方法を適用することができる。

またオペレータは、初期時、機械学習装置５を操作することにより、上述の基本学習情報２６をクラウドサーバ７から機械学習装置５にダウンロードさせる一方、少なくとも１つの学習対象を含み、その学習対象のラベル付けが行われた必要最低限の数の画像の画像データセットを上述の初期教師データセットＤ２として予めストレージ装置４内に用意しておく。

そしてオペレータは、この後、かかる初期教師データセットＤ２を利用して基本学習情報２６をチューニングするチューニング処理（以下、これを事前機械学習処理と呼ぶ）を機械学習装置５に開始させる。

機械学習装置５は、かかる事前機械学習処理を開始すると、まず、初期教師データセットＤ２を利用して各学習対象の１回目のアクティブラーニングを実行する。この際、初期教師データセットＤ２に基づく各画像内の学習対象に対しては既にラベル付けがなされているため、この１回目のアクティブラーニングにおいて、オペレータは各画像内の学習対象に対するラベル付け等の作業を行う必要はない。

そして機械学習装置５は、１回目のアクティブラーニングが完了すると、２回目のアクティブラーニングを開始し、かかる初期教師データセットＤ２に基づく各画像に対して、その画像内に存在する学習対象について有効前処理として設定された各前処理をそれぞれ施すことにより、これらの前処理がそれぞれ施された加工画像をそれぞれ生成する。

例えば画像内にある学習対象が含まれており、その学習対象に対する有効前処理として、画像内のその学習対象の輝度、彩度及び明度をそれぞれ変化させる画像加工処理が設定されている場合には、その画像内のその学習対象の輝度を変化させた加工画像と、その画像内のその学習対象の彩度を変化させた加工画像と、その画像内のその学習対象の明度を変化させた加工画像とがそれぞれ生成されることになる。

そして機械学習装置５は、このようにして生成した各加工画像の画像データを新たな教師データ（以下、これを人工教師データと呼ぶ）として２回目のアクティブラーニングを実行することにより学習対象を学習する。

なお、初期教師データセットに基づく各画像内の学習対象に対して既にラベル付けがなされているため、人工教師データに基づく各画像内の学習対象についても既にラベル付けがなされている。よって、かかる２回目のアクティブラーニングにおいても、オペレータは人工教師データに基づく画像内の学習対象に対するラベル付け等の作業を行う必要はない。

そして機械学習装置５は、２回目のアクティブラーニングを完了すると、かかる基本学習情報２６のチューニング処理（事前機械学習処理）を終了して、この後、通常の運用を開始する。

以上のような本実施の形態による事前機械学習機能を実現するための手段として、本機械学習装置５のメモリ１１には、図１に示すように、プログラムとして学習効果評価部２０、学習部２１、教師データ生成要否判定部２２及び教師データ生成部２３が格納され、制御情報として前処理候補項目リスト２４及び前処理実行要否管理テーブル２５が格納されている。

学習効果評価部２０は、各学習対象について、予め規定された複数の前処理が掲載された後述の前処理候補項目リスト２４を参照しながら、これら前処理ごとの学習効果をそれぞれ評価する機能を有するプログラムである。学習効果評価部２０は、かかる評価結果に基づいて、学習対象ごとにその学習対象を含む画像に対して実行すべき前処理（有効前処理）をそれぞれ決定し、決定結果を後述する前処理実行要否管理テーブル２５に設定する。

学習部２１は、ＣＮＮ（Convolution Neural Network）やＲＮＮ（Recurrent Neural Network）などのニューラルネットワークを用いた深層学習を実行するプログラムである。学習部２１は、基本学習情報２６のチューニングの実行時（事前機械学習処理時）、上述の初期教師データセットＤ２や人工教師データに基づいて各学習対象をそれぞれ学習する。

また学習部２１は、通常運用時には、それまでの学習結果に基づいて、ストレージ装置４に蓄積された現場データＤ１に基づく各画像内に含まれる学習対象を認識する認識処理を実行すると共に、学習対象の確度が低い画像についてはそのラベル付けをオペレータに要求する。そして学習部２１は、かかる画像に対してその学習対象のラベル付けが行われると、その画像の画像データを教師データとしてその学習対象を学習する。

教師データ生成要否判定部２２は、上述した事前機械学習処理の２回目のアクティブラーニングの実行時に、初期教師データセットＤ２に基づく各画像について、前処理実行要否管理テーブル２５を参照して、その画像に対して何らかの前処理を施すべきか（その画像の加工画像を生成すべきか）否かを判定する機能を有するプログラムである。教師データ生成要否判定部２２は、この判定で肯定結果を得た場合には、当該画像の加工画像を生成すべき旨の指示を教師データ生成部２３に与える。

また教師データ生成要否判定部２２は、通常運用時にオペレータにより学習対象のラベル付けされた画像についても、その画像に対して何らかの前処理を施すべきか否かを前処理実行要否管理テーブル２５を参照して判定する。そして教師データ生成要否判定部２２は、この判定で肯定結果を得た場合には、当該画像の加工画像を生成すべき旨の指示を教師データ生成部２３に与える。

教師データ生成部２３は、教師データ生成要否判定部２２から加工画像を生成すべき旨の指示が与えられた画像について、その画像の加工画像を生成する機能を有するプログラムである。

実際上、教師データ生成部２３は、上述した事前機械学習処理の２回目のアクティブラーニングの実行時や、事前機械学習処理の後に開始される通常運用時、ある画像について教師データ生成要否判定部２２から加工画像を生成すべき旨の指示が与えられると、その画像内の学習対象について設定されている有効前処理を前処理実行要否管理テーブル２５上で検索し、当該検索により検出した各有効前処理をその画像にそれぞれ個別に施すことにより当該画像の１又は複数の加工画像を生成する。そして教師データ生成部２３は、このようにして生成した各加工画像の画像データをそれぞれ上述の人工教師データとして学習部２１に送信する。

一方、前処理候補項目リスト２４は、学習効果評価部２０が、各学習対象に対する前処理ごとの学習効果をそれぞれ評価する際に利用するリストであり、学習対象ごとに作成される。この前処理候補項目リスト２４は、図２に示すように、項番欄２４Ａ、前処理項目欄２４Ｂ、対象部位欄２４Ｃ及び前処理要否欄２４Ｄを備えて構成される。本前処理項目候補リスト２４では、１つの行が１つの前処理の項目に対応する。

そして項番欄２４Ａには、対応する前処理に対して付与された項番が格納される。また前処理項目欄２４Ｂは、前処理大項目欄２４ＢＡ及び前処理小項目欄２４ＢＢから構成される。そして前処理大項目欄２４ＢＡには、前処理をその内容に応じて幾つかの大項目に分けた場合のこれら大項目の名称が格納され、前処理小項目欄２４ＢＢには、対応する大項目に属する前処理の小項目の名称が格納される。

なおかかる前処理の大項目としては、画像内の学習対象及び背景などといった加工対象となる部位（以下、これを対象部位と呼ぶ）に対する前処理のパラメータのパラメータ値を調整可能な「関数制御」や、画像内の対象部位の向きを変える「角度変換」などがある。またかかる前処理の内容の小項目としては、例えば大項目が「関数制御」である場合には、画像内の対象部位の輝度のパラメータ値を変化させる「輝度」、当該対象部位の彩度のパラメータ値を変化させる「彩度」、当該対象部位の明度のパラメータ値を変化させる「明度」などがあり、大項目が「角度変換」である場合には、画像内の対象部位の左右方向の向きを反転させる「反転」などがある。本実施の形態における「前処理」は、この前処理の小項目を指す。

さらに対象部位欄２４Ｃは、画像内の対象部位にそれぞれ対応させた複数の部位欄２４ＣＡから構成される。ここで「画像内の対象部位」としては、画像内の学習対象を表す「本体」や、その学習対象の背景を表す「背景」などがある。そして、各部位欄２４ＣＡ内には、それぞれ対応する学習対象を含む画像内の対応する対象部位に対応して前処理を施した場合の学習効果評価値が格納される。

なお本実施の形態の場合、かかる学習効果評価値は、対応する学習対象を含む第１の画像内の対応する対象部位に対して対応する前処理を施すことにより得られた加工画像の画像データを教師データとして学習部２１が学習した後に、その学習対象を含む他の第２の画像内の当該学習対象を認識する認識処理を学習部２１が行ったときのその学習対象の確度（認識率）と、元の第１の画像内のその学習対象を認識する認識処理を学習部２１が行ったときのその学習対象の確度との差分として算出される。

また前処理大項目が「関数制御」である前処理の画像内部位欄２４ＣＡには、それぞれ対応するパラメータ（例えば、前処理小項目が「輝度」である場合には輝度パラメータ、前処理項目が「彩度」である場合には彩度パラメータ）を１からそのパラメータの最大値まで１ずつ大きくした場合の各学習効果評価値がそれぞれ順番に並べて格納される。

さらに前処理要否欄２４Ｄには、対応する各部位欄２４ＣＡにそれぞれ格納された学習効果評価値に基づいて学習効果評価部２０（図１）により判定された、対応する学習対象に対して対応する項目の前処理を施す必要があるか否かの判定結果が格納される。

具体的に、同じ行の各画像内部位欄２４ＣＡにそれぞれ格納されたすべての学習効果評価値がその学習効果評価値について設定された学習効果評価基準値未満であった場合には、かかる判定結果として「否」が前処理要否欄２４Ｄに格納され、これら学習効果評価値の少なくとも１つがその学習効果評価基準値以上であった場合には、かかる判定結果として「要」が前処理要否欄２４Ｄに格納される。

他方、前処理実行要否管理テーブル２５は、学習対象ごとに作成され、対応する学習対象について設定されたその学習対象を含む画像に対して実行すべき前処理を管理するために利用されるテーブルである。この前処理実行要否管理テーブル２５は、図３に示すように、前処理項目欄２５Ａ、前処理要否欄２５Ｂ及び対象部位欄２５Ｃを備えて構成される。本前処理実行要否管理テーブル２５では、１つの行が１つの前処理の項目に対応する。

前処理項目欄２５Ａは、前処理大項目欄２５ＡＡ及び前処理小項目欄２５ＡＢから構成される。そしてこれら前処理大項目欄２５ＡＡ及び前処理小項目欄２５ＡＢには、前処理候補項目リスト２４の対応する前処理大項目欄２４ＢＡ又は前処理小項目欄２４ＢＢに格納される情報と同じ情報がそれぞれ格納される。

また前処理要否欄２５Ｂには、対応する学習対象を含む画像に対して対応する前処理を実行すべきか否かを表す情報が格納される。具体的には、対応する前処理を実行すべき場合には前処理要否欄２５Ｂに「要」が格納され、対応する前処理を実行する必要がない場合には前処理要否欄に「否」が格納される。従って、前処理要否欄２５Ｂに「要」が格納された前処理が上述の有効前処理に該当する。

さらに対象部位欄２５Ｃは、前処理候補項目リスト２４の対象部位欄２４Ｃと同様に、画像内の加工対象となり得る各部位（対象部位）にそれぞれ対応させた複数の部位欄２５ＣＡから構成されている。

そして、これら部位欄２５ＣＡ内には、それぞれ対象とする画像内の対応する対象部位に対して対応する前処理を施すべきか否かを表す情報が格納される。例えば、図３の場合、かかる前処理を施す場合には「○」、施さない場合には「×」が格納されている。

従って、図３の例の場合、学習対象が信号灯の「光源装置」である場合には、少なくとも本体（学習対象）及びその背景の輝度のパラメータ値を変化させる前処理を施した加工画像と（小項目が「輝度」の行の前処理要否が「要」で本体及び背景が「○」）、少なくとも本体の彩度のパラメータ値を変化させる前処理を施した加工画像と（小項目が「彩度」の行の前処理要否が「要」で本体が「○」、背景が「×」）を作成すべきことが規定されていることが示されている。

また図３では、これらと併せて、さらに本体（学習対象）の向きを左右反転させる前処理を施した加工画像（小項目が「反転」の行の前処理要否が「要」で本体が「○」、背景が「×」）を作成すべきことも規定されていることが示されている。

図４は、以上のような本実施の形態の機械学習機能に関連して上述の学習効果評価部２０、学習部２１、教師データ生成要否判定部２２及び教師データ生成部２３によりそれぞれ実行される一連の処理の流れを示す。

まず、前処理実行要否管理テーブル２５が予め機械学習装置５に用意されていない場合の処理の流れについて説明する。この場合には、学習効果評価部２０が、学習対象ごとに、その学習対象を含む画像に対して施すべき前処理（有効前処理）をそれぞれ決定し、決定結果を前処理実行要否管理テーブル２５に設定する。

実際上、この場合に学習効果評価部２０は、まず、学習部２１に対して前処理実行要否管理テーブル２５を作成するためのアクティブラーニングの開始を指示する。

学習部２１は、この指示を受信すると、ストレージ装置４に保持された現場データＤ１のうち、前処理実行要否管理テーブル２５の作成用として予めオペレータにより指定された学習対象ごとの現場データＤ１のうちの１つの学習対象の現場データＤ１を取得し（Ｓ１）、取得した現場データＤ１に基づく画像ごとに、その画像内の学習対象を認識する認識処理を実行する。また学習部２１は、その学習対象の確度が低い画像については、その画像及び必要な情報を表示装置１４（図１）に表示するようにして、その画像内のその学習対象に対するラベル付けをオペレータ３０に要求する（Ｓ２）。

そして、学習部２１は、かかる画像内のかかる学習対象に対するラベル付けがオペレータ３０により行われると、その画像の画像データ（そのときオペレータ３０により付与されたラベルの情報を含む）と、その学習対象に対する学習部２１のそのときの確度とを教師データ生成要否判定部２２を介して学習効果評価部２０に転送する（Ｓ３）。

学習効果評価部２０は、かかる画像の画像データ等を受領すると、前処理候補項目リスト２４に掲載された前処理の中から１つの前処理と、その前処理を施す画像内の１つの部位（対象部位）とをそれぞれ選択し、その前処理をその画像内のその部位に実行するよう教師データ生成部２３に指示を与えると共に、その画像の画像データを教師データ生成部２３に転送する（Ｓ４）。

かくして教師データ生成部２３は、かかる指示に従って、学習効果評価部２０から転送されてきた画像データに対して指定された部位（対象部位）に指定された前処理を施し、かくして得られた加工画像の画像データを教師データとして学習部２１に送信する（Ｓ５）。

学習部２１は、教師データ生成部２３から転送されてきた教師データに基づいて対応する学習対象を学習する。また学習部２１は、かかる前処理を施す前の同じ現場データＤ１を再度ストレージ装置４から読み出し、その現場データＤ１に基づく各画像内にそれぞれ含まれるその学習対象を認識する認識処理を再度実行し、このときのその学習対象の確度を学習効果評価部２０に通知する（Ｓ６）。

学習効果評価部２０は、かかる確度が学習部２１から通知されると、その画像についての教師データを教師データ生成部２３が生成する前に学習部２１において実行された認識処理により得られたその学習対象の確度と、その画像についての教師データに基づいてその学習対象を学習した後に学習部２１において実行された認識処理により得られたその学習対象の確度とを比較し、これら確度の差分を上述の学習効果評価値として、前処理候補項目リスト２４の対応する部位欄２４ＣＡ（図３）に格納する（Ｓ７）。

この後、学習効果評価部２０、教師データ生成部２３及び学習部２１は、以上の処理を同じ画像について、前処理候補項目リスト２４に掲載された対象部位ごとにそれぞれ実行する。この際、学習効果評価部２０は、大項目が「関数制御」の前処理（小項目名が「輝度」、「彩度」及び「明度」などの前処理）については、対応するパラメータのパラメータ値を１つずつ変化させながら上述の処理をそれぞれの対象部位についてそれぞれ実行するよう学習部２１及び教師データ生成部２３に指示を与える。

そして学習効果評価部２０は、以上のようにして１つの前処理について対象部位ごとの学習効果評価値を前処理候補項目リスト２４の対応する部位欄２４ＣＡにそれぞれ格納し終えると、これら対象部位ごとの学習効果評価値に基づいて、その学習対象を含む画像に対してその前処理を施すことにより得られた加工画像の画像データを教師データとすることが有効であるか否かを判定し、判定結果を前処理候補項目リスト２４の前処理要否欄２４Ｄ（図２）に格納する（Ｓ７）。

具体的に、学習効果評価部２０は、各対象部位のうち、少なくとも１つの対象部位の学習効果評価値がその対象部位について予め設定された上述の学習効果評価基準値以上であった場合には、その学習対象を含む画像に対してその前処理を実行すべきこと意味する「要」を前処理候補項目リスト２４の対応する前処理要否欄２４Ｄ（図３）に格納する。

また学習効果評価部２０は、すべての対象部位の学習効果評価値がその対象部位について予め設定された上述の学習効果評価基準値未満であった場合には、その学習対象を含む画像に対してその前処理を実行する必要がないことを意味する「否」を前処理候補項目リスト２４の対応する前処理要否欄２４Ｄに格納する。

そして学習効果評価部２０は、以上の処理をすべての前処理についてそれぞれ実行することにより、そのとき対象としている学習対象に対する各前処理の要否を順次判定し、判定結果を前処理候補項目リスト２４の対応する前処理要否欄２４Ｄに順次格納する（Ｓ７）。

さらに学習効果評価部２０は、以上の処理をすべての学習対象について同様に実行することにより、これら各学習対象に対する前処理ごとの要否が登録された学習対象ごとの前処理候補項目リスト２４をそれぞれ作成する（Ｓ７）。

そして学習効果評価部２０は、この後、このようにして作成した学習対象ごとの前処理候補項目リスト２４に基づいて、これら学習対象ごとの前処理実行要否管理テーブル２５をそれぞれ作成する（Ｓ８）。

具体的に、学習効果評価部２０は、まず、１つの学習対象を選択する。そして学習効果評価部２０は、選択した学習対象（以下、これを選択学習対象と呼ぶ）の前処理候補項目リスト２４に掲載されている前処理の中から１つの前処理を選択し、選択した前処理（以下、これを選択前処理と呼ぶ）に対応する行の前処理要否欄２４Ｄ（図２）に格納されている情報（「要」又は「否」）を、その選択学習対象に対応する前処理実行要否管理テーブル２５のその選択前処理に対応する行の前処理要否欄２５Ｂ（図３）に格納する。

また学習効果評価部２０は、かかる前処理候補項目リスト２４における選択前処理に対応する行の各部位欄２４ＣＡ（図２）にそれぞれ格納されている情報（「○」又は「×」）を、その選択学習対象に対応する前処理実行要否管理テーブル２５のその選択前処理に対応する行の対応する部位欄２５ＣＡ（図３）にそれぞれ格納する。

学習効果評価部２０は、以上の処理を、その選択学習対象に関して、すべての前処理について順次実行する。また学習効果評価部２０は、この後、以上の処理をすべての学習対象について実行する。このようにして学習効果評価部２０は、学習対象ごとの前処理実行要否管理テーブル２５を作成する。

そして学習効果評価部２０は、以上のようにして各学習対象に対する前処理実行要否管理テーブル２５をそれぞれ作成し終えると、基本学習情報２６をチューニングする事前学習処理の開始を学習部２１に指示する。

学習部２１は、かかる指示が与えられると、まず、初期教師データセットＤ２をストレージ装置４から読み出し、読み出した初期教師データセットＤ２と、基本学習情報２６とを用いて１回目のアクティブラーニングを実行することにより、各学習対象を学習する（Ｓ９）。

続いて、学習部２１は、２回目のアクティブラーニングを開始し、初期教師データセットＤ２をストレージ装置４から読み出し（Ｓ１０）、読み出した初期教師データセットＤ２に基づく各画像の画像データを教師データ生成要否判定部２２に順次送信する（Ｓ１１）。

教師データ生成要否判定部２２は、学習部２１から画像データが与えられるごとに、その画像データに基づく画像に含まれる学習対象に対応する前処理実行要否管理テーブル２５を参照して、その画像に対して実行すべきすべての前処理（前処理要否欄に「要」が格納された前処理）及びその前処理の対象部位（対象部位欄に「○」が格納された対象部位）を教師データ生成部２３に通知すると共に、その画像の画像データを教師データ生成部２３に送信する（Ｓ１２）。

かくして教師データ生成部２３は、教師データ生成要否判定部２２から与えられた画像データに基づく画像に対して、教師データ生成要否判定部２２から指定された各前処理を指定された対象部位にそれぞれ施した加工画像をそれぞれ生成し、生成したこれら加工画像の画像データを人工教師データとして学習部２１に送信する（Ｓ１３）。

そして学習部２１は、かかる人工教師データが与えられると、この人工教師データを用いて各学習対象を学習する。また学習部２１は、人工教師データを用いた学習対象の学習が完了すると、この後、動作モードを通常運用モードに切り替えて、通常の運用時の動作を開始する。

（３）事前機械学習機能に関連する具体的な処理内容
次に、上述した本実施の形態の事前機械学習機能に関連して機械学習装置５において実行される各種処理の処理内容について説明する。なお以下においては、各種処理の処理主体を学習部２１等の「プログラム」として説明するが、実際上は、その「プログラム」に基づいてＣＰＵ１０（図１）がその処理を実行することは言うまでもない。

（３−１）事前機械学習処理
図５は、本実施の形態の機械学習装置５において実行される事前機械学習処理の一連の流れを示す。この機械学習処理は、オペレータが、クラウドサーバ７から上述の基本学習情報２６（図１）を機械学習装置５にダウンロードさせ、さらに基本学習情報２６のチューニングに使用する上述の初期教師データセットＤ２（図１）のストレージ装置４における格納場所を機械学習装置５に設定した後、入力装置１３（図１）を介して事前機械学習処理の実行を機械学習装置５に指示することにより開始される。

機械学習装置５にかかる指示が与えられると、まず、学習効果評価部２０が、学習対象ごとの前処理実行要否管理テーブル２５に必要な情報が格納されているか否かを判断する（Ｓ２０）。そして学習効果評価部２０は、この判断で否定結果を得ると、各学習対象の前処理ごとの学習効果をそれぞれ評価して前処理実行要否管理テーブル２５を作成する学習効果評価処理を実行する（Ｓ２１）。

続いて、学習効果評価部２０が学習部２１、教師データ生成要否判定部２２及び教師データ生成部２３等を制御することにより、基本学習情報２６をチューニングするための１回目のアクティブラーニングを実行させる（Ｓ２２）。このアクティブラーニングにより、初期教師データセットＤ２及び基本学習情報２６を用いて各学習対象の学習が行われる。

そして、かかる１回目のアクティブラーニングが完了すると、この後、学習効果評価部２０が、少なくとも１つの前処理実行要否管理テーブル２５の少なくとも１つの前処理要否欄に「要」が格納されているか否かを判断する（Ｓ２３）。

この判断で否定結果を得ることは、すべての学習対象について有効前処理が存在しない（つまり、いずれの学習対象にも学習効果の高い前処理が存在しない）ことを意味する。かくして、このとき学習効果評価部２０は、この事前機械学習処理を終了し、この後、通常運用を開始するよう学習部２１等に指示を与える。

これに対して、ステップＳ２３の判断で肯定結果を得ることは、少なくとも１つの学習対象について有効前処理が存在する（つまり、いずれかの学習対象に学習効果の高い前処理が存在する）ことを意味する。かくして、このとき学習効果評価部２０は、学習部２１及び教師データ生成要否判定部２２等を制御することにより、事前機械学習処理の２回目のアクティブラーニングを実行させる（Ｓ２４）。

そして、学習効果評価部２０は、この２回目のアクティブラーニングが完了すると、基本学習情報２６のチューニング処理（事前機械学習処理）を終了し、この後、通常運用を開始するよう学習部２１等に指示を与える。

（３−２）学習効果評価処理
一方、図６は、図５について上述した事前機械学習処理のステップＳ２１において、学習効果評価部２０により実行される学習効果評価処理の処理手順を示す。

学習効果評価部２０は、事前機械学習処理のステップＳ２１に進むと、この図６に示す学習効果評価処理を開始し、まず、学習対象の中からステップＳ３１以降が未処理の１つの学習対象を選択する（Ｓ３０）。

続いて、学習効果評価部２０は、前処理候補項目リスト２４（図２）を参照して、当該前処理候補項目リスト２４に登録されている前処理の中からステップＳ３２以降の処理が未処理の前処理を１つ選択する（Ｓ３１）。

さらに学習効果評価部２０は、ステップＳ３０で選択した前処理（以下、これを選択前処理と呼ぶ）についてステップＳ３３以降の処理が未処理の対象部位を１つ選択し（Ｓ３２）、この後、選択前処理の大項目が「関数制御」であるか否かを判断する（Ｓ３３）。

学習効果評価部２０は、この判断で否定結果を得ると、ステップＳ２０で選択した学習対象（以下、これを選択学習対象と呼ぶ）を含む画像について、選択前処理をステップＳ３２で選択した対象部位（以下、これを選択対象部位と呼ぶ）に施した場合の学習効果評価値を図４について上述した手順により取得し、取得した学習効果評価値をその選択学習対象に対応する前処理候補項目リスト２４（図２）の対応する部位欄２４ＣＡに登録する（Ｓ３４）。そして学習効果評価部２０は、この後、ステップＳ３９に進む。

これに対して、学習効果評価部２０は、ステップＳ３３の判断で肯定結果を得ると、選択前処理に対応するパラメータ（「輝度」、「彩度」又は「明度」等）のパラメータ値ｎを初期値（例えば「０」）に設定する（Ｓ３５）。

そして学習効果評価部２０は、この後、選択学習対象を含む画像について、選択前処理を対応するパラメータのパラメータ値を「ｎ」として選択対象部位に施した場合の学習効果評価値を図４について上述した手順により取得する。また学習効果評価部２０は、このようにして取得した学習効果評価値をその選択学習対象に対応する前処理候補項目リスト２４（図２）の対応する部位欄２４ＣＡに登録する（Ｓ３６）。

次いで、学習効果評価部２０は、対応するパラメータのパラメータ値がそのパラメータの最大値ｋとなったか否かを判断する（Ｓ３７）。例えば、「輝度」のパラメータのパラメータ値の設定可能範囲が０〜100である場合に、当該パラメータの最大値ｋは「100」ということになる。

そして学習効果評価部２０は、この判断で否定結果を得ると、パラメータ値ｎの値を１だけ増加させた後（Ｓ３８）、ステップＳ３６に戻る。そして学習効果評価部２０は、この後、ステップＳ３７で肯定結果を得るまでステップＳ３６〜ステップＳ３８の処理を繰り返す。

この繰返し処理により、選択学習対象を含む画像について、選択前処理を選択対象部位に施す際、対応するパラメータのパラメータ値を１から最大値ｋまで順番に変化させ場合における各パラメータ値での学習効果評価値を順次得ることができる。そして、これらの学習効果評価値は、対応する前処理候補項目リスト２４の対応する部位欄２４ＣＡに順番に並べて登録される。

そして学習効果評価部２０は、やがて選択前処理に関連するパラメータのパラメータ値を１から最大値ｋまで順番に変化させた場合における各パラメータ値での学習効果評価値を取得し終えることによりステップＳ３７で肯定結果を得ると、前処理候補項目リスト２４に登録されているすべての対象部位についてステップＳ３３〜ステップＳ３８の処理を実行し終えたか否かを判断する（Ｓ３９）。

学習効果評価部２０は、このステップＳ３９で否定結果を得ると、ステップＳ３２に戻り、この後、ステップＳ３２で選択する対象部位を未処理の他の対象部位に順次切り替えながら、ステップＳ３２〜ステップＳ３９の処理を繰り返す。

そして学習効果評価部２０は、やがて前処理候補項目リスト２４に登録されているすべての対象部位についてステップＳ３２〜ステップＳ３８の処理を実行し終えることによりステップＳ３９で肯定結果を得ると、そのときの選択前処理について、そのときの選択学習対象を含む画像に対してその選択前処理を施した画像の画像データを教師データとした場合の学習効果が大きいか否かを判断する（Ｓ４０）。

具体的に、学習効果評価部２０は、大項目が「制御関数」以外の前処理については、対象部位ごとにその対象部位の学習効果評価値を学習効果評価基準値とそれぞれ比較し、いずれかの対象部位の学習効果評価値が学習効果評価基準値以上であった場合には、選択学習対象を含む画像に対して選択前処理を施した画像の画像データを教師データとした場合の学習効果が大きいと判断する。これに対して、学習効果評価部２０は、いずれの対象部位の学習効果評価値も学習効果評価基準値未満であった場合には、選択学習対象を含む画像に対して選択前処理を施した画像の画像データを教師データとした場合の学習効果が小さいと判断する。

また学習効果評価部２０は、大項目が「制御関数」の前処理については、対象部位ごとに、対応するパラメータのパラメータ値ｎを１から最大値ｋまで変化させたときの各学習効果評価値の平均値をその対象前処理の学習効果評価値として算出し、これを上述の学習効果評価基準値と比較する。そして学習効果評価部２０は、いずれかの対象部位の学習効果評価値が学習効果評価基準値以上であった場合には、選択学習対象を含む画像に対して選択前処理を施した画像の画像データを教師データとした場合の学習効果が大きいと判断する。これに対して、学習効果評価部２０は、いずれの対象部位の学習効果評価値も学習効果評価基準値未満であった場合には、選択学習対象を含む画像に対して対象前処理を施した画像の画像データを教師データとした場合の学習効果が小さいと判断する。

そして学習効果評価部２０は、ステップＳ４０の判断で肯定結果を得た場合には、前処理候補項目リスト２４における選択前処理の行の前処理要否欄２４Ｄ（図２）に、選択学習対象に対して選択前処理が必要であることを意味する「要」を格納する（Ｓ４１）。

これに対して学習効果評価部２０は、ステップＳ４０の判断で否定結果を得た場合には、前処理候補項目リスト２４における対象前処理の行の前処理要否欄２４Ｄに、選択学習対象に対して選択前処理が不要であることを意味する「否」を格納する（Ｓ４２）。

この後、学習効果評価部２０は、選択学習対象について、前処理候補項目リスト２４に掲載されたすべての前処理を選択前処理としてステップＳ３２〜ステップＳ４２の処理を実行し終えたか否かを判断する（Ｓ４３）。

学習効果評価部２０は、この判断で否定結果を得るとステップＳ３１に戻り、この後、ステップＳ３１で選択する前処理を未処理の他の前処理に順次切り替えながらステップＳ３１〜ステップＳ４３の処理を繰り返す。

そして学習効果評価部２０は、やがて選択学習対象について、前処理候補項目リスト２４に掲載されたすべての前処理を選択前処理としてステップＳ３２〜ステップＳ４２の処理を実行し終えることによりステップＳ４３で肯定結果を得ると、すべての学習対象についてステップＳ３１〜ステップＳ４３の処理を実行し終えたか否かを判断する（Ｓ４４）。

学習効果評価部２０は、この判断で否定結果を得るとステップＳ３０に戻り、この後、ステップＳ３０で選択する学習対象を未処理の他の学習対象に順次切り替えながらステップＳ３０〜ステップＳ４４の処理を繰り返す。

そして学習効果評価部２０は、やがてすべての学習対象についてステップＳ３１〜ステップＳ４３の処理を実行し終えることによりステップＳ４３で肯定結果を得ると、以上のようにした作成した学習対象ごとの前処理候補項目リスト２４に基づいて上述のようにして学習対象ごとの前処理実行要否管理テーブル２５をそれぞれ作成し（Ｓ４５）、この後、この学習効果評価処理を終了する。

（４）本実施の形態の効果
以上のように本実施の形態の機械学習装置５は、クラウドサーバ７から基本学習情報２６をダウンロードし、ダウンロードした基本学習情報２６をチューニングするようにして学習対象を学習する。この際、機械学習装置５は、学習対象ごとに、当該学習対象を含む画像に対して学習効果の高い前処理を施すことにより当該画像の加工画像を生成し、生成した各加工画像の画像データを教師データとして学習対象をさらに学習する。

従って、本機械学習装置５によれば、必要最低限の数の教師データセットにより学習効果が高い加工画像を作成し、作成したこれらの加工画像の画像データを教師データとして学習対象を学習することができる。この結果、本機械学習装置５によれば、基本学習情報２６を用いたことによる学習時間の短縮化に加えて、教師データセット以外の教師データを作成するための人員の動員も、そのための時間も必要なく、各段的に短い時間で学習を行うことができ、かくして短時間で効率良く機械学習を行い得る機械学習装置及び方法を実現できる。

（５）他の実施の形態
なお上述の実施の形態においては、本発明をスマート工場２において学習対象の学習を行う機械学習装置５に適用するようにした場合について述べたが、本発明はこれに限らず、スマート工場２以外の場所で使用される機械学習装置にも本発明を広く適用することができる。

また上述の実施の形態においては、図６について上述した学習効果評価処理のステップＳ４０において、大項目が「制御関数」である前処理については、対応するパラメータのパラメータ値を１〜最大値ｋまで順次切り替えることにより得られた各学習効果評価値の平均値を学習効果評価値としてその前処理の学習効果を評価するようにした場合について述べたが、本発明はこれに限らず、例えば図７に示すように、パラメータ値が１〜最大値ｋの範囲を複数の範囲（例えば図７のように「下位」、「中盤」及び「上位」）に区分し、範囲ごとにその平均値を学習効果評価値として算出して、算出したこれら学習効果評価値に基づいてその前処理の学習効果を評価するようにしてもよい。

例えば図７の例では、パラメータ値が「上位」の場合には学習効果が認められるため、その範囲内のパラメータ値（例えば、その範囲の中央値）でその前処理を実行することを前提としてその前処理が有効前処理と判断するようにしてもよい。なお、この場合には、かかるパラメータ値で対応する前処理を実行するよう前処理実行要否管理テーブル２５に必要な情報を設定できるようにし、そのパラメータ値でその前処理を実行するよう教師データ生成部２３を構築するようにすればよい。

さらに上述の実施の形態においては、一度設定した学習対象ごとの前処理実行要否管理テーブル２５をそのまま使い続けるようにした場合について述べたが、本発明はこれに限らず、例えば、学習効果評価部２０が図６について上述した学習効果評価処理を定期的又は不定期に実行することにより前処理実行要否管理テーブル２５を適宜更新するようにしてもよい。

本発明は、アクティブラーニングにより学習対象を学習する機械学習装置に適用することができる。

１……機械学習システム、２……スマート工場、３……カメラ、４……ストレージ装置、５……機械学習装置、７……クラウドサーバ、１０……ＣＰＵ、１１……メモリ、１４……表示装置、２０……学習効果評価部、２１……学習部、２２……教師データ生成要否判定部、２３……教師データ生成部、２４……前処理候補項目リスト、２５……前処理実行要否管理テーブル、３０……オペレータ、Ｄ１……現場データ、Ｄ２……初期教師データセット。

Claims (4)

1. 外部から基本的な学習結果でなる基本学習情報を取得し、取得した前記基本学習情報をチューニングするようにして学習対象を学習する機械学習装置において、
   予め用意された教師データセットに基づく各画像に対する画像加工処理の要否をそれぞれ判定する要否判定部と、
   前記要否判定部により前記画像加工処理を施すべきと判定された各前記画像に対して必要な前記画像加工処理をそれぞれ施すことにより加工画像を生成する画像加工処理部と、
   前記教師データセットを用いた１回目のアクティブラーニングと、前記画像加工処理部により生成された各前記加工画像の画像データを教師データとする２回目のアクティブラーニングとを実行することにより前記基本学習情報をチューニングする学習部と
   を有し、
   前記学習対象ごとに、当該学習対象に対して学習効果が高い前記画像加工処理が予め設定され、
   前記要否判定部は、
   前記教師データセットに基づく前記画像に含まれる前記学習対象に対して前記画像加工処理が設定されている場合には、当該画像に対して当該画像加工処理を施すべきと判定し、
   前記画像加工処理部は、
   前記要否判定部により前記画像加工処理を施すべきと判定された前記画像に対して、当該画像に含まれる前記学習対象について設定された各前記画像加工処理をそれぞれ施すことにより１又は複数の当該画像の前記加工画像を生成し、
   前記学習対象ごとに、当該学習対象を含む前記画像に対して前記画像加工処理を施すことにより得られた前記加工画像の画像データを教師データとして前記学習部が当該学習対象を学習した場合の学習効果を予め規定された複数種類の前記画像加工処理ごとにそれぞれ評価し、評価結果に基づいて当該学習対象を含む前記画像に対して施すべき前記画像加工処理を選択して設定する学習効果評価部をさらに備え、
   前記学習効果評価部は、
   前記学習対象ごとに、当該学習対象を含む前記画像内の予め規定された複数の部位に対してそれぞれ別個に前記画像加工処理を施すことにより得られた各前記加工画像の画像データをそれぞれ教師データとして前記学習部が当該学習対象を学習した場合の学習効果を予め規定された複数種類の前記画像加工処理ごとにそれぞれ評価し、評価結果に基づいて当該学習対象を含む前記画像に対して施すべき前記画像加工処理及び当該画像加工処理を施すべき当該画像内の前記部位を設定し、
   前記画像加工処理部は、
   前記要否判定部により前記画像加工処理を施すべきと判定された前記画像に対して、当該画像に含まれる前記学習対象について設定された各前記画像加工処理を、それぞれ当該学習対象の当該画像加工処理について設定された前記部位に対して施すことにより当該画像の前記加工画像をそれぞれ生成する
   ことを特徴とする機械学習装置。
2. 前記学習効果評価部は、
   前記学習対象ごとに、当該学習対象を含む前記画像内の予め規定された複数の部位に対してそれぞれ別個に前記画像加工処理を施すことにより得られた各前記加工画像の画像データをそれぞれ教師データとして前記学習部が当該学習対象を学習した場合の学習効果を予め規定された複数種類の前記画像加工処理ごとにそれぞれ評価し、評価結果に基づいて当該学習対象を含む前記画像に対して施すべき前記画像加工処理及び当該画像加工処理を施すべき当該画像内の前記部位を設定する処理を定期的に実行する
   ことを特徴とする請求項１に記載の機械学習装置。
3. 外部から基本的な学習結果でなる基本学習情報を取得し、取得した前記基本学習情報をチューニングするようにして学習対象を学習する機械学習装置により実行される機械学習方法において、
   予め用意された教師データセットを用いた１回目のアクティブラーニングを実行することにより前記基本学習情報をチューニングする第１のステップと、
   前記教師データセットに基づく各画像に対する画像加工処理の要否をそれぞれ判定する第２のステップと、
   前記画像加工処理を施すべきと判定した各前記画像に対して必要な前記画像加工処理をそれぞれ施すことにより加工画像を生成する第３のステップと、
   生成した各前記加工画像の画像データを教師データとする２回目のアクティブラーニングを実行することにより前記基本学習情報をチューニングする第４のステップと
   を有し、
   前記学習対象ごとに、当該学習対象に対して学習効果が高い前記画像加工処理が予め設定され、
   前記第２のステップにおいて、前記機械学習装置は、
   前記教師データセットに基づく前記画像に含まれる前記学習対象に対して前記画像加工処理が設定されている場合には、当該画像に対して当該画像加工処理を施すべきと判定し、
   前記第３のステップにおいて、前記機械学習装置は、
   前記画像加工処理を施すべきと判定した前記画像に対して、当該画像に含まれる前記学習対象について設定された各前記画像加工処理をそれぞれ施すことにより１又は複数の当該画像の前記加工画像を生成し、
   前記第２のステップの前に実行され、
   前記学習対象ごとに、当該学習対象を含む前記画像に対して前記画像加工処理を施すことにより得られた前記加工画像の画像データを教師データとして当該学習対象を学習した場合の学習効果を予め規定された複数種類の前記画像加工処理ごとにそれぞれ評価し、評価結果に基づいて当該学習対象を含む前記画像に対して施すべき前記画像加工処理を選択して設定する学習効果評価ステップを備え、
   前記学習効果評価ステップでは、
   前記学習対象ごとに、当該学習対象を含む前記画像内の予め規定された複数の部位に対してそれぞれ別個に前記画像加工処理を施すことにより得られた各前記加工画像の画像データをそれぞれ教師データとして当該学習対象を学習した場合の学習効果を予め規定された複数種類の前記画像加工処理ごとにそれぞれ評価し、評価結果に基づいて当該学習対象を含む前記画像に対して施すべき前記画像加工処理及び当該画像加工処理を施すべき当該画像内の前記部位を設定し、
   前記第３のステップでは、
   前記要否判定部により前記画像加工処理を施すべきと判定された前記画像に対して、当該画像に含まれる前記学習対象について設定された各前記画像加工処理を、それぞれ当該学習対象の当該画像加工処理について設定された前記部位に対して施すことにより当該画像の前記加工画像をそれぞれ生成する
   ことを特徴とする機械学習方法。
4. 前記学習効果評価ステップでは、
   前記学習対象ごとに、当該学習対象を含む前記画像内の予め規定された複数の部位に対してそれぞれ別個に前記画像加工処理を施すことにより得られた各前記加工画像の画像データをそれぞれ教師データとして当該学習対象を学習した場合の学習効果を予め規定された複数種類の前記画像加工処理ごとにそれぞれ評価し、評価結果に基づいて当該学習対象を含む前記画像に対して施すべき前記画像加工処理及び当該画像加工処理を施すべき当該画像内の前記部位を設定する処理を定期的に実行する
   ことを特徴とする請求項３に記載の機械学習方法。

Images