JP7200713B2 - 機械学習用教師データ作成支援方法、及び機械学習用教師データ作成支援プログラム - Google Patents

Description

本発明は、物体の認識、識別、分類等の処理を行うための機械学習に使用される教師データの生成を支援する教師データ作成支援方法、及び、コンピュータにより教師データの生成を支援するための教師データ作成支援プログラムに関する。

近年、様々な生産・製造現場において部品や完成品をピックアップするためにピッキングロボットが広く利用されている。例えば電子機器の製造現場では、各種の電子部品を自動的にピッキングし、回路基板上で部品毎に決められた位置に装填するようなロボットが利用されている。こうしたロボットの分野では、最近、乱雑に置かれた部品をピックアップするランダムピッキングと呼ばれる技術を搭載したものが一般的である。ランダムピッキングでは、ピックアップ動作の前に、カメラにより撮影された画像において、どのような部品がどの位置に、どの方向を向いた状態で存在しているのかを認識することが必要である。このような認識のために機械学習を用いた物体認識技術が利用されており、最近では、特にディープラーニング（深層学習）を用いた物体認識技術が主流になりつつある。

ディープラーニングを用いた画像処理のアルゴリズムとしては、畳み込みニューラルネットワーク（Convolutional Neural Network：以下「ＣＮＮ」と略す ）を用いたものが主流であり、ＣＮＮを利用して画像内に存在する物体の検出と認識を実施するのに好適なＲ－ＣＮＮ(Regions with CNN features)、ピクセル単位で物体を認識するＦＣＮ（Fully Convolutional Neural Network）などがよく知られている（非特許文献１参照）。ディープラーニングを代表とする教師あり機械学習法では、識別器として用いられるモデル関数を学習するために多数の教師データが用いられる。

一例として、乱雑に置かれた複数の電子部品を識別するための機械学習を考える。この場合の教師データは、様々な向きを向いて様々な位置に置かれた電子部品を撮影した画像とその画像内に存在する各電子部品の位置と向きとを示す正解データとが組になったものである。学習効果を高めるには、位置や向きが様々である電子部品が撮影された多数の画像を用いた教師データが使用されることが好ましい。

シャオチン・レン（Shaoqing Ren）、ほか３名、「ファースター・アール-シーエヌエヌ：トゥワーズ・リアル-タイム・オブジェクト・デテクション・ウィズ・リジョン・プロポーザル・ネットワークス（Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks）」、米国コーネル大学ライブラリー、［online］、インターネット＜URL: https://arxiv.org/pdf/1506.01497.pdf＞

上記のような教師データを作成するために、従来は次のような方法が採られている。
（１）実際に複数個の電子部品を平面上にランダムに置き、その状態をカメラで撮影して画像を取得する。
（２）作業者が、（１）で取得された画像上で観察される各部品について、その位置（位置座標）と向きの情報（正解データ）を手作業で入力する。こうした作業は一般にアノテーションと呼ばれ、入力作業を支援するアノテーションツールも市販されている。例えば、こうした正解データは画像に対応するｘｍｌファイルで表現される。
（３）上記（１）及び（２）の作業を多数回（通常、数十回～数百回）繰り返す。

上述したように学習効果を高めるには教師データは多い方が好ましいが、上述した従来の方法による教師データ作成は非常に手間と時間が掛かる。特に、（２）における手入力でのアノテーション作業は、いかに便利なアノテーションツールを使用したとしてもかなり手間の掛かる作業である。それ故に、そうした作業自体をアウトソーシングすることも行われているが、時間とコストが掛かることは避けられない。

本発明はこうした課題を解決するためになされたものであり、その目的とするところは、多数の教師データを作業者に大きな負担を強いることなく効率的に作成することができる機械学習用教師データ作成支援方法、及び機械学習用教師データ作成支援プログラムを提供することである。

上記課題を解決するために成された本発明に係る機械学習用教師データ作成支援方法は、複数の認識対象物が配置された画像に対し機械学習を用いた画像処理を行うための学習モデルを構築する際に使用される教師データを作成する教師データ作成支援方法であって、
複数の認識対象物が配置された状態を撮影した画像と、該画像中の各認識対象物について、位置、向き、認識対象物自体の形態又は態様、の少なくとも一つの項目に関して正解であるラベル情報を取得する基本情報取得ステップと、
前記複数の認識対象物のそれぞれについて、前記ラベル情報として与えられている、画像中での位置、向き、それ自体の形態又は態様、の少なくとも一つの項目に関し、それぞれ異なる複数のバリエーションを加えた複数のラベル情報を生成する事前ラベル情報生成ステップと、
前記事前ラベル情報生成ステップにおいて生成された複数のラベル情報にそれぞれ合わせて、前記基本情報取得ステップで取得された画像中の認識対象物の位置、向き、それ自体の形態又は態様、の少なくとも一つを変更した複数の画像を画像加工処理により作成する画像加工処理ステップと、
前記事前ラベル情報生成ステップにおいて生成されたラベル情報と、それに対応して前記画像加工処理ステップで作成された画像と、を組として所定形式の教師データを出力する教師データ出力ステップと、
を有し、前記事前ラベル情報生成ステップでは、実験計画法の一つであるラテン方格法を用いて、認識対象物に対する異なる複数のバリエーションを加えたラベル情報の割り当てを決定することを特徴としている。

また上記課題を解決するために成された本発明に係る機械学習用教師データ作成支援プログラムは、上記発明に係る教師データ作成支援方法をコンピュータを用いて実現するためのコンピュータプログラムであり、
複数の認識対象物が配置された画像に対し機械学習を用いた画像処理を行うための学習モデルを構築する際に使用される教師データを、コンピュータにより作成するための教師データ作成支援プログラムであって、
複数の認識対象物が配置された状態を撮影した画像と、該画像中の各認識対象物について、位置、向き、認識対象物自体の形態又は態様、の少なくとも一つの項目に関して正解であるラベル情報を取得する基本情報取得ステップと、
前記複数の認識対象物のそれぞれについて、前記ラベル情報として与えられている、画像中での位置、向き、それ自体の形態又は態様、の少なくとも一つの項目に関し、それぞれ異なる複数のバリエーションを加えた複数のラベル情報を生成するものであって、実験計画法の一つであるラテン方格法を用いて、認識対象物に対する異なる複数のバリエーションを加えたラベル情報の割り当てを決定する事前ラベル情報生成ステップと、
前記事前ラベル情報生成ステップにおいて生成された複数のラベル情報にそれぞれ合わせて、前記基本情報取得ステップで取得された画像中の認識対象物の位置、向き、それ自体の形態又は態様、の少なくとも一つを変更した複数の画像を画像加工処理により作成する画像加工処理ステップと、
前記事前ラベル情報生成ステップにおいて生成されたラベル情報と、それに対応して前記画像加工処理ステップで作成された画像と、を組として所定形式の教師データを出力する教師データ出力ステップと、
をコンピュータに実行させることを特徴としている。

本発明における機械学習の手法は、画像中の認識対象物についての検出、認識、識別等の処理が可能であれば特にその方法やアルゴリズムを問わないが、好適な例は、前述のＲ－ＣＮＮ、ＦＣＮ等を含むディープラーニングである。このほか、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、ランダムフォレスト（Random Forest）、アダブースト（AdaBoost）などを用いることもできる。

本発明に係る教師データ作成支援プログラムをコンピュータで実行することにより実施される教師データ作成支援方法において、基本情報取得ステップでは、認識対象物を実際に撮影した画像と、その画像中の認識対象物についてのラベル情報とが基本情報として取得される。

本発明の一態様として、上記基本情報取得ステップは、
複数の認識対象物を撮影して画像を取得する基本画像取得ステップと、
前記基本画像取得ステップで取得された画像中の各認識対象物について、位置、向き、認識対象物自体の形態又は態様、の少なくとも一つの項目に関するラベル情報を作業者が入力するラベル情報入力ステップと、
を含むものとすることができる。

この場合、例えば作業者がカメラやＣＣＤスキャナ等の撮像装置で認識対象物を撮影し、撮影した画像中の認識対象物の位置や向き等に関するラベル情報を作業者（撮影した作業者と同一とは限らない）が入力する。即ち、アノテーション作業を作業者が手入力で行うことになるが、１枚の画像中に現れている複数の認識対象物についてのラベル情報を入力しさえすればよいので、それほど大きな手間は掛からない。

また別の態様としては、複数の認識対象物をどのような位置にどのような向きで置くのかを、装置（コンピュータ）が例えば画像により作業者に指示し、作業者がその指示に従って認識対象物を置いたうえで撮影を行って画像を取得するようにしてもよい。この場合、取得された画像中の認識対象物の位置や向きに関するラベル情報は既に装置が保有しているから、改めて作業者が入力を行う必要はない。即ち、この場合には、作業者の手入力によるアノテーション作業は実質的に不要である。

なお、本発明において、認識対象物自体の形態又は態様とは、認識対象物の形状、色、又は大きさのいずれかであるものとすることができる。

事前ラベル情報生成ステップでは、上記基本情報に含まれる画像中の複数の認識対象物のそれぞれについて、ラベル情報として与えられている、画像中での位置、向き、それ自体の形態又は態様、の少なくとも一つの項目に関し、それぞれ異なる複数のバリエーションを加えた複数のラベル情報を自動的に生成する。例えば、認識対象物の向きに関し、それぞれ異なる複数のバリエーションを加えた複数のラベル情報とは、上記基本情報に含まれる画像中の認識対象物の向きを角度０°として、０～３６０°の間で所定角度間隔の角度を表す値である。具体的には、所定角度間隔が３０°であれば、０°、３０°、６０°、９０°、…、３００°、３３０°が、向きに関して複数のバリエーションが加えられたラベル情報である。

事前ラベル情報生成ステップで複数のラベル情報が生成されたあと、画像加工処理ステップでは、その複数のラベル情報にそれぞれ合わせて、基本情報取得ステップで取得された画像中の認識対象物の位置、向き、それ自体の形態又は態様、の少なくとも一つを変更した複数の画像を画像加工処理により作成する。例えば上述したように認識対象物の向きに関して複数のラベル情報が与えられている場合には、それぞれのラベル情報を目標として、認識対象物の向きがそのラベル情報に合うように認識対象物を適宜に回転させた画像を画像加工処理により作成する。また、位置に関して複数のラベル情報が与えられている場合には、認識対象物がそのラベル情報に合った位置に来るように認識対象物を適移動させた画像を画像加工処理により作成する。そして、教師データ出力ステップでは、事前ラベル情報生成ステップにおいて生成されたラベル情報と、それに対応して画像加工処理ステップで作成された画像と、を組として例えばｘｍｌ等の所定の形式の言語で表現したファイルを作成し、これを教師データとして出力する。

即ち、従来の一般に画像に関する教師データを生成する際には、まず認識対象物の位置や向きを変えた多数の画像を取得したあと、各画像中に現れている認識対象物についてのラベル情報を作業者が手入力していた。これに対し、本発明では、その手順を入れ替え、認識対象物の位置や向きが異なる複数のラベル情報を先に自動的に生成しておき、そのラベル情報に合うような画像を画像加工処理により作成する。この画像加工処理は、図形の回転、移動、拡大・縮小など、一般的な画像加工でよく、加工対象も決まっているから、ほぼ自動的に処理を進めることができる。これにより、作業者がすべき実質的な作業は殆ど不要になる。

本発明における事前ラベル情報生成ステップでは、実験計画法の一つであるラテン方格法を用いて、認識対象物に対する異なる複数のバリエーションを加えたラベル情報の割り当てを決定する。

周知のように、実験計画法は効率的な実験等を行うために実験条件等を決めるのに用いられるものであるから、これを利用することで、学習効果が高くなるような教師データを効率的に作成するのに適切な条件、つまりはラベル情報の割り当てを決めることができる。実験計画法による実験の割り当てには、完全無作為法、ラテン方格法、乱塊法、直交表（直交配置法）、分割区法、枝分かれ分類法などの各種の方法がある。

ラテン方格法は乱塊法の一種であり、一般に誤差の自由度が小さいため精度向上のためには反復等を行う必要があるものの、少ない実験数で以て効率的に実験結果を得ることができるという利点がある。本発明のように教師データ作成のためのラベル情報の生成においては、教師データを用いた学習を繰り返すことで学習の精度を向上させることができるため、上記の誤差の自由度の小ささは実際上問題とならない。一方で、少ない実験数で済むということは、教師データの数が少なくて済むということであり、教師データの作成に要する時間を短縮することができるという利点がある。こうしたことから、本発明において、前記実験計画法としてラテン方格法を用いるとよい。

また、本発明では、
前記基本情報取得ステップで得られるラベル情報は、位置、向き、認識対象物自体の形態又は態様、のうちの二つの項目を含み、
前記事前ラベル情報生成ステップでは、前記二つの項目に関し、それぞれ異なる複数のバリエーションを加えた複数のラベル情報を生成するために、その各項目に関してそれぞれラテン方格法による割り当てを行うようにするとよい。

このように、ラテン方格法による割り当てを２段階で行うことにより、処理が複雑になるのを避けつつ、効率的な学習が行えるような教師データを作成することができる。

本発明によれば、従来は大変な手間が掛かっていた、アノテーション作業を伴う教師データの作成作業を、作業者に大きな負担を強いることなく効率的に行うことができる。それにより、作業者の手間を軽減することができるとともに、教師データの作成に要する時間を短縮することができる。また、正解であるラベル情報の入力ミスなどの作業ミスも軽減することができるので、ラベル付けが正確になされた教師データを用意することができ、機械学習の精度を高めることができる。

本発明に係る教師データ作成支援方法を利用して作成される教師データを学習に使用する機械学習システムの全体構成図。 図１中の教師データ作成部のブロック構成図。 教師データ作成部における作業及び処理の手順を示すフローチャート。 電子部品（コンデンサ）の撮影画像の一例を示す図。 ラテン方格法を用いて作成した、８個の電子部品についてそれぞれの角度が相違する角度パターンを示す図。 図５に示した角度パターンの一つ（識別番号：＃１）に従って各電子部品の角度を変更する画像加工処理の説明図。 ラテン方格法を用いて作成した、８個の電子部品についてそれぞれの位置を入れ替える位置パターンを示す図。 ８個の電子部品が配置される画像中の位置を示す模式図。 図７に示した８種類の位置パターンにそれぞれ対応する８個の電子部品の配置状態を示す模式図。

以下、本発明に係る機械学習用教師データ作成支援方法、及びそのためのコンピュータプログラムの一実施例について、添付図面を参照して説明する。

図１は、本発明に係る教師データ作成支援方法により作成される教師データを使用して機械学習を実行するとともに、その学習により作成される学習モデルを用いて画像認識を実施する機械学習システムの一例の全体構成図である。図２は図１中の教師データ作成部のブロック構成図である。ここでは、この機械学習システムは、所定の電子部品をランダムピッキングするために、乱雑に置かれた電子部品を撮影した画像に対し、その画像中の電子部品の位置と向きとを認識するものである。即ち、本発明における認識対象物は、ここでは電子部品である。

図１に示すように、この機械学習システムは、教師データ作成部１、学習実行部２、及び画像認識部４、を備える。
概略的に説明すると、教師データ作成部１は、学習材料である教師データを多数作成する。教師データは、同種の電子部品が多数写っている画像と、この画像中の各電子部品の位置と向き（角度）とを示すラベル情報とが組となったものである。学習実行部２はその多数の教師データを用いて、所定の機械学習アルゴリズムによる学習を実行し、学習済みモデル３を作成する。学習の際には例えば確率的勾配降下法などの既知の手法を用いることができる。作成された学習済みモデル３は画像認識部４に組み込まれ、画像認識部４はこの学習済みモデル３を利用し、入力された処理対象画像において電子部品を検出してその位置を認識するとともに向きなどを認識し、その結果を出力する。

機械学習アルゴリズムとしては、画像中の物体の検出や認識に適したものであればよく、一般的には、ニューラルネットワークを用いた機械学習法であるＣＮＮ、Ｒ－ＣＮＮ、ＦＣＮなどのディープラーニングが好適である。また、それ以外でも、サポートベクターマシン、ランダムフォレスト、アダブーストなどの各種の機械学習法を用いることができる。なお、ニューラルネットワークを用いた機械学習アルゴリズムを用いる場合、学習済みモデル３とは、多層ネットワークに含まれる複数の畳み込み層におけるフィルタの係数（重み）である。

また、図１に示したシステムの実体はパーソナルコンピュータ、より性能の高いワークステーション、或いは、そうしたコンピュータと通信回線を介して接続された高性能なコンピュータを含むコンピュータシステムなどであり、そうしたコンピュータ単体又はコンピュータシステムに搭載されているソフトウェアを該コンピュータで実行することにより、図１に示した各ブロックの機能が具現化される。

図２に示すように、教師データ作成部１は、コンピュータ１０と、これに付設されるカメラ１６、入力部１７、表示部１８などから構成される。入力部１７は一般にはキーボードやポインティングデバイス（マウスなど）等であるが、画面へのタッチ操作により入力が行えるものであってもよい。そして、コンピュータ１０にインストールされた専用のソフトウェアを該コンピュータ１０で動作させることで、基本ラベル情報入力支援部１１、ラベル情報自動生成部１２、画像加工処理部１３、教師データファイル作成部１４、データ保存部１５などの機能ブロックが具現化される。上記ソフトウェアが本発明に係る機械学習用教師データ作成支援プログラムに相当するものである。こうしたプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、メモリカード、ＵＳＢメモリ（ドングル）などの記憶媒体に収録されてユーザに提供されるか、或いは、インターネットなどの通信回線を介したデータ転送の形式で、ユーザに提供されるものとすることもできる。

次に、図３～図９を参照して、教師データ作成部１おいて教師データが作成される際の、作業者による作業と自動的な処理とについて説明する。図３はこの作業と処理の手順を示すフローチャートである。

この例では、認識対象物である電子部品は、一般的な積層セラミックコンデンサ（以下単に「コンデンサ」という）であるものとする。コンデンサは、本体部と、２本の足部（リード端子部）と、を有しており、向きの認識が必要である。また、本体部の形状の個体差は殆ど無いものの、２本の足部は曲がっていたり開き角度がばらばらであったりするため個体差がある。そのため、個体差がある複数のコンデンサについての教師データを作成することが必要である。

まず作業者は、Ｎ個のコンデンサが無地背景の平板上に載置された状態の画像をカメラ１６により撮影し、得られた画像データをコンピュータ１０に入力する（ステップＳ１）。入力された画像は基本画像としてデータ保存部１５に保存される。ここでは、Ｎを８とするが、「８」に限るものではなく、例えばその２倍の「１６」等でもよい。後述するように、向き（角度）に関するラベル情報を自動生成する際の角度間隔を（３６０／Ｎ）°としている都合上、Ｎは３６０を容易に割り切れる値とするとよい。

図４は、８個のコンデンサを撮影した画像の一例を示す図である。８個のコンデンサは本体部を右方、足部を左方に向けた、左右に延伸する状態で、互いにほぼ平行に載置されている。但し、上述したように、各コンデンサの足部の曲がりや開き度合いは様々であり、その点で形状に個体差があるということができる。このようにコンデンサに個体差があっても、画像中でコンデンサを的確に検出し、その位置と向きとを認識する必要があるため、想定される様々な個体差がある複数のコンデンサを撮影している。図４中に記載したように、ここでは、８個のコンデンサにそれぞれ識別子としてＡ～Ｈの英文字を付している。即ち、Ａ～Ｈの英文字とコンデンサの外観（具体的には足部の曲がりや開き具合）とは対応している。
なお、仮に外観上で全く個体差がない場合又は個体差が無視できる程度である場合には、この例のように、同種の複数個の電子部品を撮影する必要はなく、１個のみの撮影を行えば十分である。

基本ラベル情報入力支援部１１は、上記ステップＳ１においてデータ保存部１５に保存されたデータを用いて、上述したように８個のコンデンサが写っている基本画像を再現し、これを表示部１８の画面上に表示する。作業者は表示部１８でその基本画像を視認し、その基本画像に写っている各コンデンサについて、位置（位置座標）の情報及び向き（角度）の情報を入力部１７から入力する。つまりは、正解であるラベル情報を入力するアノテーションの作業を実行する。入力されたラベル情報はデータ保存部１５に保存される（ステップＳ２）。

各部品（ここではコンデンサ）の位置の情報は、例えば作業者が表示された基本画像上で各コンデンサの本体部の中心位置をクリック操作したり、或いは各コンデンサの本体部の外輪郭をポインティングデバイスでなぞったりすることで、入力されるようにしておくことができる。図４の例では、Ａ～Ｈの英文字記号が識別番号として付された各コンデンサは全て右向きに互いに平行に置かれているから、このときの向きを角度０°とし、角度０～３６０°で向きを表現するものとする。

ラベル情報自動生成部１２は、Ａ～Ｈの識別番号が付されたＮ個のコンデンサが互いに異なるＮ個の角度を採るような角度パターン、つまりは角度に関するラベル情報をラテン方格法を用いて決定する（ステップＳ３）。ここで、このＮ個の角度とは０～３６０°の角度範囲を八つに等角度間隔で分割したときの角度であり、具体的には、０°、４５°、９０°、１３５°、１８０°、２２５°、２７０°、３１５°の八つである。図５は、識別番号＃１～＃８を付した８種類の角度パターンにおける、Ｎ個のコンデンサ（Ａ～Ｈ）と角度（０°～３１５°）との関係を示す２次元テーブルである。ラテン方格法では、このテーブルにおいて、縦方向にも横方向にも同じ識別番号が付されたコンデンサは一回のみしか現れない。したがって、＃１～＃８の識別番号が付された８種類の角度パターンでは、任意の識別番号が付されたコンデンサは必ず異なる角度になり、且つ８種類の角度が必ず１回ずつ現れる。

続いて、ラベル情報自動生成部１２は、Ａ～Ｈの識別番号として付されたＮ個のコンデンサが、画像中に定められた互いに異なるＮ個の位置に配置される位置パターン、つまりは位置に関するラベル情報を、ステップＳ３と同様にラテン方格法を用いて決定する（ステップＳ４）。ここで、画像中のＮ個の位置とは、図８に示すように、１枚の画像１００中に予め設定された８個の領域であり、ここではその位置を示す識別番号を［１］、［２］、…としている。図７は、識別番号（１）～（８）を付した８種類の位置パターンにおける、Ｎ個のコンデンサ（Ａ～Ｈ）と画像中の位置（［１］～［８］）との関係を示す２次元テーブルである。ラテン方格法では、このテーブルにおいて、縦方向にも横方向にも同じ識別記号が付された位置は一回のみしか現れない。したがって、（１）～（８）の識別番号が付された８種類の位置パターンでは、任意の識別番号が付されたコンデンサは必ず異なる位置になり、且つ８種類の位置が必ず１回ずつ現れる。

画像加工処理部１３は、ステップＳ３で生成された角度に関するラベル情報に合わせて、ステップＳ１で得られた基本画像中の各コンデンサの向きを変化させた、つまりは回転させた画像を画像加工処理により作成する（ステップＳ５）。ここでは、識別番号がＡ～Ｈである８個のコンデンサは、画像１００中で図６（ａ）に示すように、つまりは図８に［１］～［８］で示した位置に、配置されているものとする。図６（ｂ）は、図４に示した基本画像中の各コンデンサを、図６（ａ）中の各位置に配置した画像である。そして、この識別番号がＡ～Ｈである８個のコンデンサの向き、つまり角度を、図５に示した８種類の角度パターン（＃１～＃８）に合わせて変化させることで８種類の１次加工画像を生成する。図６（ｃ）は、識別番号が＃１である角度パターンのラベル情報に合わせて各コンデンサの向きを変化させた１次加工画像である。ステップＳ５の処理では、このような１次加工画像が８枚作成される。

次いで画像加工処理部１３は、ステップＳ４で生成された位置に関するラベル情報に合わせて、ステップＳ５で作成された８枚の１次加工画像それぞれにおいて、各コンデンサの位置を入れ替えた画像を画像加工処理により作成する（ステップＳ６）。図９は、図７に示されている８種類の位置パターンにそれぞれ対応する、１枚の画像１００中の８個のコンデンサの配置状態を示す図である。このステップＳ６では、図６（ｃ）に示されているような、角度に関するラベル情報に応じて各コンデンサの向きが変更されたあとの１枚の１次加工画像に対し、図９に示すように各コンデンサの向きはそのままで位置の入れ替えが行われ、８枚の２次加工画像が作成される。したがって、８枚の１次加工画像から８×８＝６４枚の２次加工画像が作成される。

上記のようにして生成されたＮ×Ｎ枚、ここでは６４枚の２次加工画像にはそれぞれ、一つの角度パターンつまりは角度に関するラベル情報と、一つの位置パターンつまりは位置に関するラベル情報とが対応付けられる。６４枚の２次加工画像に対し角度パターンと位置パターンとの組み合わせは必ず異なるものとなるから、６４枚の２次加工画像に対してラベル情報は必ず異なるものとなる。教師データファイル作成部１４は、その６４枚の２次加工画像とラベル情報とを対応付け、２次加工画像毎にＮ個のコンデンサの位置（位置座標）情報と向き（角度）情報とを付与したアノテーションｘｍｌファイルを作成し、それをデータ保存部１５に保存する（ステップＳ７）。

上記一連の処理により、１枚の基本画像から６４個の教師データが自動的に生成され、教師データ作成部１は作成されたアノテーションｘｍｌファイルを教師データとして学習実行部２に出力する。

なお、上記実施例の処理においてＮの値は任意であり、例えばＮの数をさらに増やして例えば１２或いは１６としてもよい。その場合、角度パターンにおける角度間隔は３０°或いは２２．５°である。

また、上記実施例の処理では、ステップＳ３、Ｓ４においてラベル情報の割り当てを決めるために、実験計画法の一つであるラテン方格法を用いた。実験計画法には様々な方法があり、ラテン方格法は一般に、誤差の自由度が小さいため精度向上のためには反復等を行う必要があるものの、少ない実験数で以て効率的に実験結果を得ることができるという利点があることが知られている。ここでは、誤差の自由度の小ささは実際上問題とならないので、専ら効率性を重視してラテン方格法を利用しているが、ラテン方格法に限らず実験計画法における他の方法を採用しても構わない。具体的には、完全無作為法、乱塊法、直交表（直交配置法）、分割区法、枝分かれ分類法などを用いることができる。

また、上記実施例で挙げたコンデンサ、抵抗器のような部品の場合には、ピックアップする際に方向性（向き、角度）を認識する必要があるが、例えば円盤状の部品などの場合には方向性を認識する必要がないこともある。その場合には、向きに関するラベル情報は存在しない。一方で、認識対象物によっては、色、模様、外形状、大きさなどの形態や態様を認識する必要がある場合もある。こうした場合には、そうした認識対象物の形態や態様に関するラベル情報が必要であり、それに関して様々に異なるラベル情報が自動的に生成されることになる。

また、認識対象物が電子部品やそのほかの部品に限らないのは言うまでもない。また例えば、製造された各種の製品、農産物・水産物、配送品など様々な認識対象物を適用することが可能である。

また、上記実施例はあくまでも本発明の一例にすぎず、上述した様々な例に限らず、本発明の趣旨の範囲でさらに適宜変形、修正、追加を行っても本願特許請求の範囲に包含されることは明らかである。

１…教師データ作成部
２…学習実行部
３…学習済みモデル
４…画像認識部
１０…コンピュータ
１１…基本ラベル情報入力支援部
１２…ラベル情報自動生成部
１３…画像加工処理部
１４…教師データファイル作成部
１５…データ保存部
１６…カメラ
１７…入力部
１８…表示部

Claims (10)

1. 複数の認識対象物が配置された画像に対し機械学習を用いた画像処理を行うための学習モデルを構築する際に使用される教師データを作成する教師データ作成支援方法であって、
   複数の認識対象物が配置された状態を撮影した画像と、該画像中の各認識対象物について、位置、向き、認識対象物自体の形態又は態様、の少なくとも一つの項目に関して正解であるラベル情報を取得する基本情報取得ステップと、
   前記複数の認識対象物のそれぞれについて、前記ラベル情報として与えられている、画像中での位置、向き、それ自体の形態又は態様、の少なくとも一つの項目に関し、それぞれ異なる複数のバリエーションを加えた複数のラベル情報を生成する事前ラベル情報生成ステップと、
   前記事前ラベル情報生成ステップにおいて生成された複数のラベル情報にそれぞれ合わせて、前記基本情報取得ステップで取得された画像中の認識対象物の位置、向き、それ自体の形態又は態様、の少なくとも一つを変更した複数の画像を画像加工処理により作成する画像加工処理ステップと、
   前記事前ラベル情報生成ステップにおいて生成されたラベル情報と、それに対応して前記画像加工処理ステップで作成された画像と、を組として所定形式の教師データを出力する教師データ出力ステップと、
   を有し、前記事前ラベル情報生成ステップでは、実験計画法の一つであるラテン方格法を用いて、認識対象物に対する異なる複数のバリエーションを加えたラベル情報の割り当てを決定することを特徴とする機械学習用教師データ作成支援方法。
2. 請求項１に記載の機械学習用教師データ作成支援方法であって、
   前記基本情報取得ステップは、
   複数の認識対象物を撮影して画像を取得する基本画像取得ステップと、
   前記基本画像取得ステップで取得された画像中の各認識対象物について、位置、向き、認識対象物自体の形態又は態様、の少なくとも一つの項目に関するラベル情報を作業者が入力するラベル情報入力ステップと、
   を含むことを特徴とする機械学習用教師データ作成支援方法。
3. 請求項１又は２に記載の機械学習用教師データ作成支援方法であって、
   前記認識対象物自体の形態又は態様は、認識対象物の形状、色、又は大きさのいずれかであることを特徴とする機械学習用教師データ作成支援方法。
4. 請求項１に記載の機械学習用教師データ作成支援方法であって、
   前記基本情報取得ステップで得られるラベル情報は、位置、向き、認識対象物自体の形態又は態様、のうちの二つの項目を含み、
   前記事前ラベル情報生成ステップでは、前記二つの項目に関し、それぞれ異なる複数のバリエーションを加えた複数のラベル情報を生成するために、その各項目に関してそれぞれラテン方格法による割り当てを行うことを特徴とする機械学習用教師データ作成支援方法。
5. 請求項１～４のいずれか１項に記載の機械学習用教師データ作成支援方法であって、
   前記機械学習は畳み込みニューラルネットワークを利用したディープラーニングであることを特徴とする機械学習用教師データ作成支援方法。
6. 複数の認識対象物が配置された画像に対し機械学習を用いた画像処理を行うための学習モデルを構築する際に使用される教師データを、コンピュータにより作成するための教師データ作成支援プログラムであって、
   複数の認識対象物が配置された状態を撮影した画像と、該画像中の各認識対象物について、位置、向き、認識対象物自体の形態又は態様、の少なくとも一つの項目に関して正解であるラベル情報を取得する基本情報取得ステップと、
   前記複数の認識対象物のそれぞれについて、前記ラベル情報として与えられている、画像中での位置、向き、それ自体の形態又は態様、の少なくとも一つの項目に関し、それぞれ異なる複数のバリエーションを加えた複数のラベル情報を生成するものであって、実験計画法の一つであるラテン方格法を用いて、認識対象物に対する異なる複数のバリエーションを加えたラベル情報の割り当てを決定する事前ラベル情報生成ステップと、
   前記事前ラベル情報生成ステップにおいて生成された複数のラベル情報にそれぞれ合わせて、前記基本情報取得ステップで取得された画像中の認識対象物の位置、向き、それ自体の形態又は態様、の少なくとも一つを変更した複数の画像を画像加工処理により作成する画像加工処理ステップと、
   前記事前ラベル情報生成ステップにおいて生成されたラベル情報と、それに対応して前記画像加工処理ステップで作成された画像と、を組として所定形式の教師データを出力する教師データ出力ステップと、
   をコンピュータに実行させることを特徴とする機械学習用教師データ作成支援プログラム。
7. 請求項６に記載の機械学習用教師データ作成支援プログラムであって、
   前記基本情報取得ステップは、
   複数の認識対象物に対する撮影画像の入力を受け付けて記憶する基本画像取得ステップと、
   前記基本画像取得ステップにおいて記憶した画像中の各認識対象物について、位置、向き、認識対象物自体の形態又は態様、の少なくとも一つの項目に関するラベル情報を作業者に入力させるラベル情報入力ステップと、
   を含むことを特徴とする機械学習用教師データ作成支援プログラム。
8. 請求項６又は７に記載の機械学習用教師データ作成支援プログラムであって、
   前記認識対象物自体の形態又は態様は、認識対象物の形状、色、又は大きさのいずれかであることを特徴とする機械学習用教師データ作成支援プログラム。
9. 請求項６に記載の機械学習用教師データ作成支援プログラムであって、
   前記基本情報取得ステップで得られるラベル情報は、位置、向き、認識対象物自体の形態又は態様、のうちの二つの項目を含み、
   前記事前ラベル情報生成ステップでは、前記二つの項目に関し、それぞれ異なる複数のバリエーションを加えた複数のラベル情報を生成するために、その各項目に関してそれぞれラテン方格法による割り当てを行うことを特徴とする機械学習用教師データ作成支援プログラム。
10. 請求項６～９のいずれか１項に記載の機械学習用教師データ作成支援プログラムであって、
    前記機械学習は畳み込みニューラルネットワークを利用したディープラーニングであることを特徴とする機械学習用教師データ作成支援プログラム。

Images