JP7745854B2

JP7745854B2 - 重量推定装置及び教師データ作成方法

Info

Publication number: JP7745854B2
Application number: JP2023051129A
Authority: JP
Inventors: 淳也古賀; 雅之野口; 博文千葉
Original assignee: Ｐｃｉソリューションズ株式会社; 株式会社プリバテック; データステップス株式会社
Priority date: 2023-03-28
Filing date: 2023-03-28
Publication date: 2025-09-30
Anticipated expiration: 2043-03-28
Also published as: JP2024140129A

Description

本発明は、画像中の対象物の重量を推定する重量推定装置、及び重量推定の機械学習に用いる教師データの作成方法に関する。

従来、撮像装置を用いて対象物を撮像し、その重量や質量を推定することができる装置が知られている。対象物の重量推定には、画像処理技術や機械学習モデルを用いた判定装置等が利用される。

例えば、特許文献１の質量推定装置は、推定対象物を搬送する搬送面を有する搬送部と、搬送部の上方に固定された撮像部と、撮像部と接続された演算部を備えている。搬送面にばらまかれた食品を一定量搬送して停止したとき、演算部は、搬送面上の食品の内の部分的な質量を推定する。特に、演算部は、撮像部で撮像可能な撮像視野内で、位置特定マーカによって規定される所定の領域内に含まれる食品の質量を推定する。

質量の推定アルゴリズムは、過去のデータから自動的に推定式を構成する機械学習ベースのシステムを用いる。機械学習には、畳み込みニューラルネットを用いる。また、位置特定マーカにより、搬送面のどの領域の質量を測定したのかを特定できるので、部分的に測定した質量を累積して、必要な分量の推定対象物の切り出しが容易となる（特許文献１／段落００２３，００２４，００３７、図１、及び図２)。

特開２０２１－１３９７７５号公報

しかしながら、特許文献１は、対象物を移動させたときの各視点から全体形状を認識して重量等を推定する手法であるため、形状のしっかりした固形物でないと、精度良く物理量を推定することが難しいという問題があった。例えば、レタス等の葉菜類は、ふんわりしていて、形状が不安定であるとともに、内部には間隙が存在することがある。このため、撮像部から見た二次元の形状及び大きさが同一であっても、重量が大きく異なることがある。

さらに、特許文献１の質量推定装置は、搬送面に載せられて搬送されてくる対象物が所定位置に来た時に撮像するので、撮像時の撮像部と対象物との距離は、固定されている。したがって、撮像部と対象物との間の距離が固定されていない対象物の質量を推定するときには、推定精度が低くなっている。

本発明は、このような事情に鑑みてなされたものであり、対象物が固形物に限らず、また、対象物までの距離が固定されていなくても、対象物の重量を適切に推定することができる重量推定装置及び教師データ作成方法を提供することを目的とする。

本発明の重量推定装置は、
対象物のカラー画像を撮像可能なＲＧＢカメラと、
前記対象物までの深度情報を含む深度データ画像を撮像可能なステレオカメラと、
前記対象物の前記カラー画像と前記深度情報とに基づいて、前記対象物の重量を推定できるように機械学習させた機械学習モデルと、
撮像された前記カラー画像と前記深度データ画像とが入力された場合に、前記機械学習モデルを用いて前記対象物の重量推定を行う重量推定部と、
を備えている。

本発明の教師データ作成方法は、
ＲＧＢカメラで撮像された対象物のカラー画像と、ステレオカメラで撮像された前記対象物までの深度情報を含む深度データ画像から機械学習用データを作成する教師データ作成方法であって、
前記カラー画像から前記対象物の外周を囲む第１画像部分を切り出す第１の対象物切出工程と、
前記第１の対象物切出工程によって切り出された前記第１画像部分を未加工で予め定めた所定サイズの枠に貼付する第１の画像貼付工程と、
前記深度データ画像から撮影範囲が前記第１画像部分と同一である第２画像部分を切り出す第２の対象物切出工程と、
前記第２の対象物切出工程によって切り出された前記第２画像部分を未加工で前記所定サイズの新たな枠に貼付する第２の画像貼付工程と、
を備えている。

本発明の重量推定装置によれば、機械学習モデルは、カラー画像の他に深度データ画像を用いて対象物までの重量を推定する。これにより、対象物までの距離が固定されていなくても、さらには、対象物がその個々の部位で撮像部から異なる距離となっていても、対象物の重量を適切に推定することができる。

本発明の教師データ作成方法によれば、機械学習用データの作成において、カラー画像と深度データ画像から対象物の外周を囲みかつ撮影範囲が同一である第１及び第２の画像部分が切り出され、未加工で、すなわちサイズの正規化を行うことなく、同一の所定サイズのそれぞれの枠に貼付される。これにより、ＲＧＢカメラからの距離が、部位ごとに相違している対象物に対しても重量推定についての適切な機械学習モデルを生成することができる。

機械学習モデルを装備して対象物の重量を推定する重量推定装置の模式図である。機械学習モデルに機械学習を行わせる際の教師データのカラー画像及び深度データ画像を作成する作業装置の配置図である。機械学習モデルの機械学習の際に教師データとして使用する種々のカラー画像を示す図である。対象物の複数の座標位置で対関係のカラー画像及び深度データ画像を示す図である。重量の異なる対象物についてのカラー画像を示す図である。第１の深度データ画像に対する深度データの補間処理についての説明図である。第２の深度データ画像に対する深度データの補間処理についての説明図である。第３の深度データ画像に対する深度データの補間処理についての説明図である。カラー画像から対象物の画像領域を切り出して最終の教師データを作成する工程説明図である。カラー画像及び深度データ画像からそれぞれ切出した切出し領域を対応のキャンバスに貼付した工程を並べて示した図である。深度増減による教師データの拡張についての説明図である。機械学習モデルを機械学習させたときのＥｐｏｃｈとＭＳＥ及びＭＡＥとの関係を調べたグラフである。図１２の所定のＥｐｏｃｈのチューニングを所定回目から別途、機械学習を初回から行ったときのＥｐｏｃｈとＭＳＥ及びＭＡＥとの関係を調べたグラフである。機械学習モデルに対し対関係のＲＧＢ及び深度のうちＲＧＢだけで機械学習させたときのＥｐｏｃｈとＭＳＥ及びＭＡＥとの関係を調べたグラフである。

以下、本発明の実施形態について説明する。本発明は、実施形態に限定されないことは言うまでもない。なお、複数の実施形態間で共通する構成要素については、同一の符号を使用する。

（実施形態）
図１は、対象物１２の重量を推定する重量推定装置１０の模式図である。重量推定装置１０は、複合カメラ１４、重量推定部１８、重量表示器２０及び機械学習モデル２２を備えている。

この例では、対象物１２は、葉物野菜であるレタスである。このレタスは、全体の色がほぼ緑（Ｇ）で占められている。対象物１２が緑色であることは、後述のマスク６０ａの作成に利用される。対象物１２としてのレタスは、中に間隙を有しており、全体としてふかふかしていて、形状及び大きさが固形物に比して不安定となっている。このような対象物１２は、固形の物体に対して重量の推定が難しくなる。重量推定装置１０は、レタスのような対象物１２にも重量推定を適切に実施できる機械学習モデル２２を構築している。

複合カメラ１４は、ＲＧＢカメラ１４ａ及びステレオカメラ１４ｂを搭載している。複合カメラ１４は、例えばインテル（登録商標）社のデプスカメラであるRealSense（登録商標）として市販されているものが利用可能である。

ＲＧＢカメラ１４ａ及びステレオカメラ１４ｂは、それぞれカラー画像（詳細には、赤Ｒ、緑Ｇ及び青Ｂの３つの画像から構成されている。）及び深度データ画像を生成する。重量推定部１８は、カラー画像及び深度データ画像に基づいて複合カメラ１４の視野座標空間１６における対象物１２の各部位の座標位置を検出する。

図では、図示の簡便上、視野座標空間１６におけるＸ軸、Ｙ軸及びＺ軸は、直交座標で描かれている。しかしながら、詳細には、複合カメラ１４が視野座標空間１６の被写体の各部位について検出する座標位置は、それぞれ複合カメラ１４から見て水平方向、前後方向（深度方向）及び鉛直方向の視野角を、ＲＧＢカメラ１４ａ又はステレオカメラ１４ｂの１画素に対応する角度で分割して、各画素の被写部位が水平方向、前後方向（深度方向）及び鉛直方向に占める角度部分に割り当てられている座標位置となる。

重量推定部１８は、対象物１２のカラー画像から被写体としての対象物１２の各部位のＸ座標及びＺ座標を検出し、対象物１２の深度データ画像から被写体としての対象物１２の各部位のＹ座標（深度）を検出する。カラー画像は、詳細には、ＲＧＢカメラ１４ａの画素に対応する座標位置ごとにＲ（赤）、Ｇ（緑）及びＢ（青）の３つの色彩のデータを有している。

この例では、ＲＧＢカメラ１４ａの画素とステレオカメラ１４ｂの画素は、１：１に対応している。しかしながら、ＲＧＢカメラ１４ａの画素とステレオカメラ１４ｂの画素との対応関係は、１：複数又は複数：１の関係であってもよい。ＲＧＢカメラ１４ａの画素とステレオカメラ１４ｂの画素との対応関係が１：複数である場合は、カラー画像におけるＲＧＢカメラ１４ａの各画素に対応する領域の深度（複合カメラ１４からの距離）は、ステレオカメラ１４ｂにおける複数の対応画素の深度のいずれか（例：最小深度、平均深度、最大深度又は任意）に決定される。ＲＧＢカメラ１４ａの画素とステレオカメラ１４ｂの画素との対応関係が複数：１である場合は、カラー画像におけるＲＧＢカメラ１４ａの複数画素に対応する領域の深度は、該複数の画素に対応するステレオカメラ１４ｂにおける１つの画素の深度に共通に決定される。

機械学習モデル２２は、予め教師データとして用意されたカラー画像及び深度データ画像に基づく機械学習により構築されている。すなわち、学習済みのＡＩモデルとして、重量推定装置１０に組み込まれている。

重量推定部１８は、機械学習モデル２２を用いて、重量推定対象の対象物１２のカラー画像及び深度データ画像に基づいて対象物１２の重量を推定する。

重量表示器２０は、対象物表示部２０ａ及び重量表示部２０ｂを有している。対象物表示部２０ａには、ＲＧＢカメラ１４ａが生成したカラー画像から対象物１２の範囲を切り抜いた画像が表示される。また、重量表示部２０ｂには、対象物表示部２０ａに表示されている対象物１２の推定重量が表示される。

（教師データ）
図２は、機械学習モデル２２に機械学習を行わせる際の教師データ（機械学習用データの一例）のカラー画像及び深度データ画像を作成する作業装置の配置図である。機械学習モデル２２の機械学習に使用する教師データのカラー画像及び深度データ画像を作成するためには、重量推定装置１０による重量推定の対象物１２について、視野座標空間１６における相対位置、大きさ（サイズ）、形状及び重量の各パラメータの値が想定範囲内にあって適切に分布する対象物４８のカラー画像及び深度データ画像を十分な個数、用意する必要がある。

視野座標空間１６における対象物１２の相対位置の検出は、必須ではない。なぜなら、対象物１２は、相対位置に基づいてカラー画像及び深度データ画像から切り出されているのではなく、カラー画像及び深度データ画像において対象物１２の画像部分がどれかを判断して、その判断に基づいて切り出しているからである。しかしながら、複合カメラ１４からの対象物１２の相対位置を変えて撮像することにより得られる「見え方のバリエーション」は教師データとして有益である。

図１の対象物１２は、重量推定装置１０で実際に重量を推定する対象物である。これに対し、図２の対象物４８は、機械学習モデル２２に機械学習を行わせる際の教師データを作成するための対象物である。対象物４８は、対象物１２と種類が同一（例：レタス）であるとともに、各パラメータ（例：形状、大きさ、重量及び座標位置）について重量推定対象の対象物１２が有すると予想される値範囲内で広く分布して、機械学習用に用意される。

図２のＸ軸、Ｙ軸及びＺ軸は、図１の視野座標空間１６のＸ軸、Ｙ軸及びＺ軸に対応している。図１では、複合カメラ１４は、位置が固定され、対象物１２が複合カメラ１４に対して種々の相対位置を有するようになっている。これに対し、図２では、対象物４８の位置が固定され、複合カメラ１４が固定位置の対象物４８に対して位置を変更するようになっている。

カメラ用スタンド３０は、Ｘ軸方向及びＹ軸方向に移動可能に床２８に載置されている台３２と、台３２に立設されているストラット３４と、ストラット３４からの突出量がＺ軸方向に調整自在である鉛直パイプ３８と、鉛直パイプ３８の上端部に固定されている水平パイプ４０と、Ｙ軸方向に変位自在に鉛直ヘッド３６に支持されている水平パイプ４０とを備えている。２４は、レンズを下に向けて水平パイプ４０の先端部に取り付けられている。

矩形の不織布４４は、複合カメラ１４の下方において床２８に載置されている。模造紙４６は、形状及び大きさが不織布４４に等しく、不織布４４の上面に重ねて敷かれている。対象物４８は、模造紙４６の上面の中心位置に置かれる。

照明スタンド５０は、上端部にランプ５２を下向きに備えている。照明スタンド５０は、ランプ５２が模造紙４６の中心の直上になるように、模造紙４６の外側において床２８に配置される。ランプ５２は、模造紙４６の全体がほぼ一様な明るさとなるように、光を模造紙４６に向けて照射している。

作業者は、教師データのカラー画像及び深度データ画像を作成するために、対象物４８を模造紙４６の中心位置に置くとともに、カメラ用スタンド３０の台３２をＸ軸方向及びＹ軸方向に移動させ、さらに、鉛直ヘッド３６をＺ軸方向に変位させる。また、複合カメラ１４の向きを、真下に維持する。こうして、複合カメラ１４と対象物４８との相対位置が種々変化する。作業者は、複合カメラ１４と対象物４８との複数の相対位置において複合カメラ１４を作動させて、同一の対象物４８に対して相対位置の異なる教師データとしての対関係のカラー画像及び深度データ画像を作成する。

作業者は、１つの対象物４８についての教師データを作成したら、該対象物４８をパラメータ（例：形状、寸法、重量）又はその値が異なっている別の対象物４８に変更して、同様に教師データを作成する。こうして、作成された教師データは、機械学習モデル２２の機械学習に使用される。

（教師データ用カラー画像／位置）
図３は、機械学習モデル２２の機械学習の際に教師データとして使用する種々のカラー画像を示す図である。なお、図３に図示のカラー画像は、各々１つであるが、カラー画像には、実際には、赤Ｒ、緑Ｇ及び青Ｂの３つの画像から構成されている。図面では、図示の簡略化上、赤Ｒ、緑Ｇ及び青Ｂの３つの画像を１つの画像として示している。

対象物１２の重量推定の学習モデルを生成する教師データとして使用する対象物４８は、必須パラメータは重量とし、その他の複数のパラメータ（例：形状や大きさ）を含めて各パラメータの値範囲が広く分布する撮影画像（カラー画像及び深度データ画像）を教師データとして十分な数、収集することが好ましい。

そして、各対象物４８について、視野座標空間５８内の種々の座標位置において教師データのカラー画像及び深度データ画像が作成される。なお、図面では、カラー画像は、グレースケールで示している。

図３において、視野座標空間５８は、図２の複合カメラ１４に対するものとして定義されているが、複合カメラ１４が図１の重量推定装置１０の複合カメラ１４と共通するものとして、図１の視野座標空間１６と同一に定義されている。

図３の視野座標空間５８のＸ軸、Ｙ軸及びＺ軸は、図２のＸ軸、Ｙ軸及びＺ軸に対応している。視野座標空間５８は、Ｘ軸、Ｙ軸及びＺ軸の各軸方向に３つに等分割されている。この結果、視野座標空間５８は、３×３×３の計２７個のセル空間に分割される。各セル空間を区別するために、各セル空間についてＸ軸方向、Ｙ軸方向及びＺ軸方向に原点Ｏに近い方から添え字ａ，ｂ，ｃを付ける。各セル空間の座標は、該セル空間の中心の座標で対応させる。

対象物４８が複合カメラ１４の方に向けている表面に対し、複合カメラ１４の各画素に対応する部位を定義すると、部位ごとにＸ座標、Ｙ座標及びＺ座標が定義される。図３の各セル空間の中心座標は、図面のカラー画像及び深度データ画像の写真の対象物４８の位置を簡便に指示するために用いただけであり、実際の機械学習及び重量推定では、対象物１２又は対象物４８の表面の部位としての画素ごとの座標が決定されている。

視野座標空間５８では、原点Ｏに最も近いセル空間の座標は（Ｘａ，Ｙａ，Ｚａ）で表わされる。原点Ｏから最も遠いセル空間の座標は（Ｘｃ，Ｙｃ，Ｚｃ）で表わされる。視野座標空間５８の中心のセル空間の座標は（Ｘｂ，Ｙｂ，Ｚｂ）で表わされる。

図３において、複合カメラ１４は、Ｙ軸方向に視野座標空間５８に対して（Ｘｂ，Ｙａ，Ｚｂ）側に配置され、複合カメラ１４のレンズの光軸は、Ｙ軸に平行に（Ｘｂ，Ｙａ，Ｚｂ）に向かっている。Ｙａ，Ｙｂ，Ｙｃは、複合カメラ１４からの光軸上の距離で、例えば４２ｃｍ、４７ｃｍ及び５７ｃｍとなるＹ座標である。

図３の各カラー画像における対象物４８は、同じ対象物４８であるので、対象物４８が複合カメラ１４に近いセル空間に置かれているときのカラー画像ほど、カラー画像における対象物４８の寸法が大きくなっている。また、複合カメラ１４から見て視野座標空間５８の中心のセル空間（Ｘｂ，Ｙｂ，Ｚｂ）に対して右か左か上か下かで、各カラー画像における対象物４８の位置は、該カラー画像の中心に対して右、左、上及び下に移動する。

（対関係のカラー画像及び深度データ画像）
図４は、対象物４８の複数の座標位置で対関係のカラー画像及び深度データ画像を示している。対関係のカラー画像及び深度データ画像とは、同一の対象物４８を同一の座標位置でＲＧＢカメラ１４ａ及びステレオカメラ１４ｂを同時に撮影したときのカラー画像及び深度データ画像をいうものとする。図４において、上下方向に同一段のカラー画像と深度データ画像とは、対関係にある。

カラー画像は、実際はカラーであるが、図４では、グレースケールで表わされている。深度データ画像は、図示では、色無しの濃淡画像として生成される。複合カメラ１４から対象物４８までの深度（距離）は、図示の深度データ画像では、各部位の濃淡の度合いで表わされている。

図４の各深度データ画像では、深度取得不能領域は黒になっている。深度取得不能領域は、葉物野菜のような対象物４８において前の葉の影となる後ろの葉に生じやすい。深度取得不能領域を有する深度データ画像は、教師データとして好ましくないので、適切な深度データによって補間することが好ましい。

（教師データ用カラー画像／重量）
図５は、重量の異なる対象物４８についてのカラー画像を示す図である。作業者は、対象物４８を、視野座標空間５８における所定のセル空間に維持しつつ、対象物４８（例：レタス）の葉を少しずつちぎって、重量を段階的に減少させ、重量の相違する計４つの対象物４８（図５では、深度データ画像の図示は省略している。）を作成する。

この例では、対象物４８の最初の重量は、１０．５ｇであり、その後、７．５ｇ、５．５ｇ及び３、９ｇに変化している。そのとき、対象物４８は、重量だけでなく、大きさ及び形状も変化している。これら重量の異なる４個の対象物４８を視野座標空間５８の計９個のセル空間に配置すれば、計３６（＝９×４）個の対関係のカラー画像及び深度データ画像を教師データとして追加することができる。なお、視野座標空間５８の計９個とは、対象物４８に対する複合カメラ１４の撮影位置が、Ｙ軸方向（深度方向）に４２ｃｍ、４７ｃｍ及び５２ｃｍの３つと、Ｘ軸方向（水平方向）に左、中及び右の３つの３つで、相対位置の組合せが３×３＝９個あるいうことである。

（深度データの補間）
図６－図８は、それぞれ異なる深度データ画像に対する深度データの補間処理についての説明図である。前述したように、深度データ画像において、深度データの取得できなかった領域は、黒に表示される。黒のままの深度データ画像は、教師データの価値を低下させる。深度データの補間は、これに対処するものである。

実施形態で採用している深度データの補間の特徴は、カラー画像由来のマスクを用いることである。具体的には、対関係のカラー画像と深度データ画像とに対し、カラー画像に基づいて対象物４８のマスクを作成し、作成したマスクに基づいて深度データ画像をマスク内の対象物内領域（対象物領域）とマスク外の対象物外領域（背景領域）とに区分けする。そして、対象物内領域及び対象物外領域の欠損値（深度取得不能領域の深度）は、それぞれ対象物内領域及び対象物外領域のみにおいて隣接する深度取得領域の深度（ｄｅｐｔｈ値）のみに基づいて補間することである。

図６－図８において、注目箇所（例：補間処理を行う又は行った部位）は、円で囲ってある。また、図６以降の図において、「ＲＧＢ」とはカラー画像を意味し、「ｄｅｐｔｈ」とは深度データ画像を意味している。

図６－図８において、画像は、上下方向に３段で配列されている。全３段のうち、上から１段目の画像はカラー画像であり、２段目及び３段目の画像は、１段目のカラー画像と対関係の深度データ画像である。２段目の深度データ画像は、ステレオカメラ１４ｂの撮像画像が出力したそのままの、すなわち深度補間の処理前の深度データ画像である。３段目の２つの画像は、２段目の深度データ画像に対して深度補間した後の深度データ画像である。左側及び右側の深度データ画像は、補間処理がそれぞれ遠景拡張補間及び物体内部補間を実行した結果データとなっている。

図６では、カラー画像において対象物４８の左側に深度取得不能領域が生じている。図７では、対象物４８は、前の葉で隠れている後ろの葉の部分に深度取得不能領域が生じている。

図８では、対象物４８は、透明のガラスコップ内に入れられて、ガラスコップの開口側から撮影されている。光がガラスコップに反射して、入射光と反射光とが混在する領域が深度取得不能領域となっている。なお、図８では、対象物４８はガラスコップ内に入れているが、これは、対象物４８のサイズが小さいために、対象物４８が倒れてしまうので、立てた姿勢で撮影するために、ガラスコップを使用したものである。対象物４８をガラスコップに入れて撮影しても、深度取得不能領域を補間することができる。

遠景拡張補間（図６－図８の一番下の段の２つの画像のうち左側の画像）では、深度取得不能領域（上から２段目の補間前の画像）の黒領域が、該黒領域に隣接する深度取得領域の深度の領域の濃淡色に等しい濃淡に変更されている。図６及び図７において、破線の円は、深度取得不能領域を注目するために付けたマークである。

図８では、対象物４８がコップに入れられている。図８の各画像において、対象物４８が左の大きいものと右の小さいものとの２つが含まれているのは、対象物４８は本来は右の位置にあるが、小さくて見えにくいので、拡大して左の対象物４８として見易くしたためである。

なお、遠景拡張補間において、各黒領域は、深度の異なる複数の深度取得領域により囲われている。遠景補間では、各深度取得不能領域は、それを囲んでいる深度の異なる複数の深度取得領域のいずれかの深度に補間により変更される。例えば、各深度取得不能領域は、それを囲んでいる深度の異なる複数の深度取得領域のうち最大深度、最小深度及び平均深度に変更する補間であってもよい。さらに、各深度取得不能領域内の各位置の深度は、該位置に最も近い隣接深度取得領域の深度に変更する補間であってもよい。

物体内部補間（図６－図８の一番下の段の２つの画像のうち右側の画像）では、マスクが使用される。マスクは、カラー画像から対象物４８の周輪郭を境界線とし、該境界線の内側を補間処理領域とするものである。対象物４８は、実施形態では、例としてレタスを選択している。レタスは、緑色であるので、マスクを作成する際は、例えば、単純にピクセル（画素）単位でのＲ：Ｇ：Ｂ比からＧの割合が一定以上のピクセルを対象物４８の存在するピクセルとして、そのピクセルの領域をマスクとする。また、入力画像の物体領域を検出し、ピクセルごとに検出された物体のラベルを出力するモデル（セマンティックセグメンテーションなど）を使用してマスクを作成することもできる。

物体内部補完の具体例では、（ａ）深度データ画像全体に対して、サイズを指定した正方形フィルタによるｄｉｌａｔｉｏｎ処理により値がゼロの領域（深度取得不可領域）を埋める。また、（ｂ）元々値が入っているピクセルはｄｉｌａｔｉｏｎ処理により変化しないよう、ｄｉｌａｔｉｏｎ処理前の値で上書きをする。そして、上記（ａ）及び（ｂ）を繰り返すことで全ての深度取得不可領域を補完している。深度取得不可領域については、ｄｉｌａｔｉｏｎ処理を繰り返す中で「繰り返すごとにｄｉｌａｔｉｏｎ処理の影響を受けて値が変化する」か「一度ゼロ以外の値が入ったら深度が取得できている領域と同様に値を固定する」かの選択が可能になっており、状況やタスクによってどちらが適しているかが異なる。

（教師データ作成方法）
図９は、カラー画像から対象物４８の画像領域を切り出して最終の教師データを作成する工程説明図である。マスク６０ａを用いて、カラー画像において切出し領域６２ａを決定する（図９の最上段の画像）。切出し領域６２ａは、マスク６０ａを内包する最小の矩形の各辺に対して外側に２０画素（ｐｉｘｅｌ）のマージンを付けて広げた矩形領域として定義される。

図９の上から２番目のＳＴＥＰ１の切出し領域６２ａは、図９の上から１番目の切出し領域６２ａを拡大したものである。ＳＴＥＰ２では、カラー画像から切出し領域６２ａが切り出されて、キャンバス６４ａの中心に貼付される。キャンバス６４は、画素数で４８０×４８０となっている。カラー画像内の対象物４８は、複合カメラ１４に近い座標位置で撮影されたものほど、カラー画像における寸法が増大し、切出し領域６２ａの寸法も増大する。キャンバス６４の４８０×４８０は、想定される最大寸法の切出し領域６２ａを内側に貼付されることを保証するサイズとして設定されている。

図１０は、カラー画像及び深度データ画像からそれぞれ切出した切出し領域６２ａ，６２ｂを対応するキャンバス６４ａ，６４ｂに貼付されたＳＴＥＰ２，４を並べて示している。カラー画像は、Ｒ，Ｇ，Ｂの３つの色別の画像を含むので、縦、横、画像数で情報量を表わすと、（４８０，４８０，３）となる。深度データ画像の情報量は、（４８０，４８０，１）で表わされる。したがって、（４８０，４８０，４）の１セットが１つの教師データを構成する。

ＳＴＥＰ１，２，４は、それぞれ本発明の第１の対象物切出工程、第１の画像貼付工程及び第２の画像貼付工程に相当する。本発明の第２の対象物切出工程は、図示が省略されているが、図８のＳＴＥＰ１における切出し領域６２ａを深度データ画像用の切出し領域に置き換えただけである。また、深度データ画像についてのマスクは、所定色（実施形態ではＧ）のカラー画像の微分処理でエッジとしての輪郭を抽出して作成したマスク６０ａが共通に使用される。

（教師データの拡張）
図１１は、深度増減（距離増減）による教師データの拡張（データ拡張）についての説明図である。データ拡張とは、元の学習用データに変換を施したデータを学習用データとして用いることで、データを水増しする手法である。一般的に、データ拡張の手法としては、（ａ）予め元の学習用データに変換を施したデータを学習用データに加えておくことでデータ数を増やしたデータセットで学習を行う手法、及び（ｂ）学習用データにランダムな変換を施すジェネレータを使用する手法がある。

（ｂ）では、元の学習用データ数は変化させない代わりに、学習時のエポックごとに元データに対してランダムな変換を施す。そうすることでエポックごとに元データから生成された異なるデータをモデルへ与えることができる。ジェネレータの一般的な使用例としては、左右反転処理の場合、処理を施すか否かを各々50%の確率で生じさせる、ランダムシフト処理の場合、画像の縦軸、横軸方向に各々－５０~＋５０ピクセルの範囲で画像全体を平行移動させる、など二値選択や幅を持った数値をパラメータとして設定する。その際、同エポック内の各データにおいてもそれぞれランダムに異なる値が適応される。

この実施例では、（ｂ）のジェネレータを使用したデータ拡張の特殊な例として、深度を、元の学習用データ－１００～＋１００ｍｍの範囲からランダムに生成した設定値（ランダム距離）で増減する。そして、対関係の既存のカラー画像（元カラー画像）及び深度データ画像（元深度データ画像）に対し（図１１に左右方向の中央の距離補正無しの画像）、元深度データ画像の全画素の距離を、ランダム距離だけ一律に変更するとともに、変更後の距離に基づいて元カラー画像及び元深度データ画像を拡縮した新カラー画像及び新深度データ画像（図１１に左右方向の左端及び右端のデータ拡張の画像）のデータを拡張データとして生成する。

詳細には、図１１において、「ＲＧＢ」及び「ｄｅｐｔｈ」はそれぞれカラー画像及び深度データ画像を意味している。また、図１１の左右方向に３列のＲＧＢ及びｄｅｐｔｈの対において、中央列（ｏｒｉｇｉｎａｌ）は元画像（複合カメラ１４による実際の撮影から生成した画像）」である。中央列に対して左側の列（－１００ｍｍ）及び右側の列（＋１００ｍｍ）の画像は、元画像に対して複合カメラ１４と対象物４８との距離をそれぞれ１００ｍｍだけ近づけた及び離したときの対象物４８の想定した大きさ及び形状に基づいて新規作成した拡張画像である。

深度増減による教師データの拡張では、元距離（元画像における複合カメラ１４－対象物４８間の距離）Ｌａに対する拡張後距離（拡張画像における複合カメラ１４－対象物４８間の距離）Ｌｂの比Ｌｂ／Ｌａを、対象物４８の元寸法（元画像における対象物４８の寸法）に掛けた値に拡張後寸法（教師データの拡張とする画像内の対象物４８の寸法）に変更することになる。したがって、元画像と拡張の画像とで、画像の中心座標は同一で、形状は相似となる。

深度増減による対象物４８の深度は、各深度データ画像に書き込まれる。したがって、周知の深度変更無しの対象物４８の単なる拡大及び縮小による教師データの拡張とは区別される。

この例では、深度増減による教師データの拡張は、深度の増減だけで行っている。しかしながら、深度の増減による教師データの拡張を、周知の教師データの拡張である画像の回転、左右平行移動、上下平行移動、左右反転、上下反転及び明るさの調整のうちの１つ以上と組合せて行うこともできる。

（データ拡張を行う際の注意点）
周知のデータ拡張を施す場合、手法の性質によって変換を施す対象を適切に選択しなければならない点に注意が必要である。例えば、明るさの調整などのカラー画像の輝度に着目したデータ拡張ではカラー画像のみに変換を施し、深度データ画像を変換対象に含めるのは不適切である。一方、左右反転、ランダム回転、平行移動など位置概念を変更するデータ拡張ではカラー画像及び深度データ画像に同様の処理を施さなければならない。今回は使用していないが、ランダムイレイジングなどデータの一部をランダムなノイズへ変換するデータ拡張を使用する場合、カラー画像と深度データ画像にそれぞれ独立してランダム値を適応することで、互いの情報からノイズ領域の推測が可能となり推論精度が向上する可能性も考えられる。

（検証）
図１２は、機械学習モデル２２を機械学習させたときのＥｐｏｃｈ（エポック数）とＭＳＥ（平均二乗誤差。損失関数に設定。）及びＭＡＥ（平均絶対誤差。重量のグラムｇの誤差に相当。）との関係を調べたグラフである。なお、今回、訓練に使用するデータに関しては前述の通り１つの株から撮影方法を変更、葉を除く等して複数のデータを得た。モデルを学習する際には、適切に汎化性能を確認するために、学習用データと検証用データで同じ株由来のデータが混在しないようにした。

今回の機械学習では以下に示す通り、１０００エポックを１つのステップとして２ステップ（ステップＲ１とステップＲ２）の学習を行った。ステップＲ１，Ｒ２では共通してＲＭＳｐｒｏｐをオプティマイザとして用いたが、学習率はステップＲ１では０．００１、ステップＲ２ではステップＲ１の０．１倍の０．０００１とした。ステップＲ１では１０００エポックの学習を行い、１０００エポックの内、検証用データに対する損失値（ＭＳＥ）が最小となった時点の重みを保存した。ステップＲ２ではステップＲ１で保存した重みパラメータをモデルの初期値として設定し、オプティマイザの設定は初期化して１０００エポックの再学習を実施した。ステップＲ２において検証用データに対する損失値が最小となった時点での重みパラメータを搭載したモデルを最終モデルとして評価に用いた。

図１２－図１４において、実線及び破線は、それぞれ学習用データ及び検証用データのときの特性を示している。Ｅｐｏｃｈが進むにつれて、検証用データのＭＳＥ及びＭＡＥは、共に指数関数的に減少しており、重量推定装置１０によって機械学習モデル２２を適切に訓練することが可能であることを示している。図１２の機械学習では、対関係のＲＧＢ（カラー画像）及び深度（深度データ画像）の両方を教師データとして用いている。

図１３は、図１２のＥｐｏｃｈ＝７３５のチューニングを初期値としてＥｐｏｃｈ＝１から別途、機械学習させたときのＥｐｏｃｈとＭＳＥ及びＭＡＥとの関係を調べたグラフである。なお、図１３の縦軸の目盛り間隔は、図１２のものより広げている。図１３の方が、図１２より学習効果が高まっていることが理解できる。なお、Ｅｐｏｃｈ＝７３５が選択された理由は、ステップＲ１で７３５ｅｐｏｃｈのモデルが検証用データに対するｌｏｓｓが最小（１．７７）であったためである。

図１４は、機械学習モデル２２に対し、対関係のＲＧＢ及び深度のうちＲＧＢだけで機械学習させたときのＥｐｏｃｈとＭＳＥ及びＭＡＥとの関係を調べたグラフである。具体的には、図１２と同一の検証試験を行ったものである。

図１４について補足すると、実際にはステップＲ１の１０００ｅｐｏｃｈの中で検証用データに対するｌｏｓｓが最も小さかった８２２ｅｐｏｃｈ時点の重みパラメータを使って、ステップＲ２(１００１ｅｐｏｃｈ以降)の訓練を行っている。したがって、図１４では１０００－>１００１ｅｐｏｃｈが連続的に行われているように見えるが、実際は１００１ｅｐｏｃｈ以降は８２２ｅｐｏｃｈの重みパラメータで再スタートしている。ＲＧＢ画像のみでの検証は、ステップＲ１とステップＲ２を連続的に行ったため、記録が連続してしまったためにグラフが結合している。

図１４と図１２とを対比すると、図１２のＲＧＢ＋ｄｅｐｔｈでは、７３５ｅｐｏｃｈ (ステップＲ１) －> +６７７ｅｐｏｃｈ (ステップＲ２)でｌｏｓｓが０.７９となっている。また、図１４のＲＧＢのみでは、８２２ｅｐｏｃｈ (ステップＲ１) －> +１０７ｅｐｏｃｈ (ステップＲ２)でｌｏｓｓが１.４７となっている。以上より検証用データに対するｌｏｓｓを比較するとＲＧＢ＋ｄｅｐｔｈの方がはるかに低いことから、ｄｅｐｔｈ情報が汎化性能の向上に寄与していることが分かる。

（変形例）
重量推定装置１０は、特定の１種類の対象物１２（例：レタス）専用に、重量を推定している。しかしながら、本発明の重量推定装置は、色が明確に区別されれば（例：緑のレタスと、オレンジ色のみかんと、紫色のナスと、黄色のバナナ及び赤色のリンゴ。）、複数種類の対象物について重量の推定を行うことができる。

重量推定装置１０は、特定の１種類の対象物１２（例：レタス）専用に重量を推定している。しかしながら、種類別に機械学習させた複数の機械学習モデル２２を装備し、人が対象物１２の種類別に対応する機械学習モデル２２に手動で切り替えるようにして、重量推定装置１０を複数の種類（例：レタスとブロッコリーと白菜。）の対象物１２の重量推定に使用することもできる。もちろん、単一の機械学習モデルに複数の種類の対象物を学習させることで、単一の機械学習モデルを複数の種類の対象物の重量推定に使用することもできる。

重量推定装置１０では、遠景拡張補間及び物体内部補間（図６－図８）を、機械学習モデル２２の機械学習時の教師データとして使用する深度データ画像の補間として実施している。本発明の重量推定装置では、実際の重量推定時に、重量推定対象の対象物（例：重量推定装置１０の対象物１２）の深度データ画像に対して、遠景拡張補間及び物体内部補間の処理を行うこともできる。

実際の重量推定時における補間は、重量推定装置において、学習時でなく実際の重量推定時のみ実施してもよい。又は、重量推定装置において、深度データ画像に対して、カラー画像学習時の教師データとしての補間と、実際の重量推定時の補間との両方で実施することもできる。

１０・・・重量推定装置、１２，４８・・・対象物、１４ａ・・・ＲＧＢカメラ、１４ｂ・・・ステレオカメラ、１６・・・視野座標空間、１８・・・重量推定部、２２・・・機械学習モデル、６０ａ・・・マスク、６２ａ・・・切出し領域、６４ａ・・・キャンバス。

Claims

葉物野菜である対象物のカラー画像を撮像可能なＲＧＢカメラと、
前記対象物までの深度情報を含む深度データ画像を撮像可能なステレオカメラと、
前記対象物の前記カラー画像と前記深度情報とに基づいて、前記対象物の重量を推定できるように機械学習させた機械学習モデルと、
撮像された前記カラー画像と前記深度データ画像とが入力された場合に、前記機械学習
モデルを用いて前記対象物の重量推定を行う重量推定部と、
を備え、
前記機械学習モデルの機械学習は、深度データ画像と対関係にあるカラー画像から作成したマスクに基づいて該深度データ画像を対象物内領域と対象物外領域とに区分けし、前記対象物内領域の深度取得不能領域を、該対象物内領域において該深度取得不能領域に隣接している深度取得領域の深度に基づいて補間された深度データ画像を機械学習用データとして使用している、重量推定装置。
前記機械学習モデルは、
ランダムに生成した増減距離をランダム距離として設定するランダム距離設定部と、
対関係の既存のカラー画像及び深度データ画像をそれぞれ元カラー画像及び元深度データ画像として、前記元深度データ画像の全画素の深度を、前記ランダム距離に相当する分だけ一律に変更するとともに、元カラー画像及び元深度データ画像の画像を、変更後の深度に対応するサイズに拡縮した新カラー画像及び新深度データ画像に対応するデータを拡張データとして生成する拡張データ生成部と、
を備えている、請求項１に記載の重量推定装置。
葉物野菜である対象物のカラー画像を撮像可能なＲＧＢカメラと、
前記対象物までの深度情報を含む深度データ画像を撮像可能なステレオカメラと、
前記対象物の前記カラー画像と前記深度情報とに基づいて、前記対象物の重量を推定できるように機械学習させた機械学習モデルと、
撮像された前記カラー画像と前記深度データ画像とが入力された場合に、前記機械学習
モデルを用いて前記対象物の重量推定を行う重量推定部と、
を備え、
前記機械学習モデルは、
ランダムに生成した増減距離をランダム距離として設定するランダム距離設定部と、
対関係の既存のカラー画像及び深度データ画像をそれぞれ元カラー画像及び元深度データ画像として、前記元深度データ画像の全画素の深度を、前記ランダム距離に相当する分だけ一律に変更するとともに、元カラー画像及び元深度データ画像の画像を、変更後の深度に対応するサイズに拡縮した新カラー画像及び新深度データ画像に対応するデータを拡張データとして生成する拡張データ生成部と、
を備えている、重量推定装置。
請求項１又は３に記載の重量推定装置の前記機械学習モデルに機械学習を行わせる際の機械学習用データを作成する教師データ作成方法であって、
前記カラー画像から前記対象物の外周を囲む第１画像部分を切り出す第１の対象物切出工程と、
前記第１の対象物切出工程によって切り出された前記第１画像部分を未加工で予め定めた所定サイズの枠に貼付する第１の画像貼付工程と、
前記深度データ画像から撮影範囲が前記第１画像部分と同一である第２画像部分を切り出す第２の対象物切出工程と、
前記第２の対象物切出工程によって切り出された前記第２画像部分を未加工で前記所定サイズの新たな枠に貼付する第２の画像貼付工程と、
を備えていることを特徴とする教師データ作成方法。
前記機械学習用データには、対関係の既存のカラー画像及び深度データ画像をそれぞれ元カラー画像及び元深度データ画像として、前記元深度データ画像の全画素の深度を、ランダムに生成したランダム距離に相当する分だけ一律に増減するとともに、元カラー画像及び元深度データ画像を、変更後の深度に対応するサイズに拡縮した新カラー画像及び新深度データ画像に対応するデータが拡張データとして含まれている、請求項４に記載の教師データ作成方法。