JPWO2018020954A1 - 機械学習用データベース作成システム - Google Patents

Abstract

簡便に大量の仮想画像データと教師データを自動作成可能な機械学習用データベース作成システムを提供することを目的とする。３次元形状情報計測手段により取得した地形や建物の３次元形状情報を入力する３次元形状データ入力部と、環境情報を３次元形状情報から自動的に認識し分類を行う３次元シミュレータ部と、３次元シミュレータ部が認識した環境情報およびセンサのセンサパラメータに基づき、仮想センサデータおよび教師データを出力する教師データ出力部と、を有する機械学習用データベース作成システム。

Description

本発明は、機械学習用データベース作成システムに関する。

一般に鉱山においては、土砂の採掘作業および運搬作業として油圧ショベルやダンプトラックなどの鉱山用作業機械が用いられている。鉱山に用いられる鉱山用作業機械としては、安全性や低コスト化の観点から無人化が求められる。ダンプトラックにおいては、単位時間当たりの土砂の運搬量が採掘の進捗度に直結するため、効率の良い運用が求められる。したがって、土砂を効率良く採掘現場の外に大量に運搬するためには、連続運転可能な自律走行式のダンプトラックを用いた鉱山システムが必要とされている。

ところが、ダンプトラックを走行させる鉱山の走行路はオフロードであって悪路が多いため、ダンプトラックを自律走行させて無人運転させる際、土壁や他車両等の障害物との衝突が懸念される。仮に、走行路上に障害物が生じ、自律走行式の無人のダンプトラックが障害物と接触して停止した場合には、鉱山の運行を長時間に亘って停止させてしまう。よって、自律走行式のダンプトラックの信頼性を高めるためには、前方車両や走行路上の障害物を早期に検知して、前方車両の追従走行や障害物の回避走行を行わせることが可能な信頼性の高い障害物検知システムが必要となる。

従来、この種の前方車両および障害物検知システムとしては、ミリ波レーダ、レーザセンサ、カメラまたはステレオカメラ等の障害物検知装置が用いられている。ミリ波レーダは砂埃や雨などが生じた場合も動作可能な高い耐環境性を有し、測定距離性能も高い。一方で、ステレオカメラやレーザセンサは、三次元形状を計測できるため、路上の障害物を精度よく検出することができる。これらのセンサを組み合わせることで、障害物の検出性能を向上させる方法もある。

また、高性能な障害物検出システム及び物体認識システムを開発するにあたって、近年では機械学習が用いられることがある。機械学習では、各センサのデータを大量に集めることにより、傾向を分析し、パラメータ決定を行う。旧来は閾値を設計データや検証実験によるデータに基づき人手で設計することが多かったが、この手法は設計者の経験に基づいており、信頼性が低く、また設計工数も大きくなる。こういった問題を解決するために、現在では機械学習を用いてパラメータ設計を行うことが大半である。

一例として乗用車の衝突防止システム向けのカメラによる自動車などの検出システムを挙げる。まず、対象の車両に取り付けたカメラで様々な場所や、日時において他車両を撮影し、撮影した画像データを集める。続いて、この撮影した画像データのどの箇所がシステムで検出すべき車両であるかを示す、教師データを作成する。この教師データは一般的に画像データ一枚ごとに人手で作成することが多い。この画像データと作成した教師データを用いて、機械学習させることにより、自動車の画像上の特徴を学習することができ、またこの学習した結果に基づきパラメータ設定することにより、画像中の人を計算機で自動的に認識することのできる物体認識システムを開発することができる。こういった機械学習システムとして近年よく用いられているのはＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ ＭａｃｈｉｎｅやＢｏｏｓｔｉｎｇ、ニューラルネットワークなどの手法である。

しかしながら、この機械学習を用いた物体認識システムには実装する上でいくつか問題がある。ひとつは大量の画像データを収集するコストの問題である。機械学習システムに基づいた物体認識システムを開発する場合、学習させるために大量の画像データと教師データを準備する必要がある。類似の情報を学習データとして与えていない場合、認識できない。例えば自動車を検出するシステムを作成する場合、自動車を後方から撮影した画像データと教師データを与えた場合、このシステムでは自動車の前方部が見えた場合に、その車両を検出することは難しい。そのため、あらゆる姿勢の自動車を検出可能な物体認識システムを開発するためには、機械学習用の画像データを収集する際に、あらゆる姿勢の自動車の画像データを収集しなければならない。

もうひとつは教師データを収集するコストの問題である。前述したとおり、教師データは一般的に画像データ一枚ごとに人手で作成することが多い。例えば、自動車を検出するシステムの場合は、事前に撮影した大量の画像データに対し、自動車が占める領域を矩形などで指定していき、その指定した領域を教師データとして与える方法である。一般的に機械学習による物体認識システムではこういった画像データと教師データのペアを数万から数百万単位で必要とするため、機械学習のための教師データの作成には大きなコストがかかっている。

また、こういったシステムを鉱山で実施する場合、一般道と環境が大きく異なるため、鉱山環境で撮影した画像データを用い機械学習するのが望ましい。しかし、規格が統一されている一般道に比べ、鉱山環境は採掘対象、現場の地質等によって大きく異なるため、ある鉱山で撮影、作成した画像データ、及び教師データを他の鉱山用の物体認識システム用の学習データとして流用することが困難である。そういった問題を解決するためには、この画像データ、及び教師データを鉱山の現場ごとに作成することで、より高い検出性能を有した物体認識システムを実装することができるが、これを実現するためには前述した画像データ及び教師データの作成コストの高さがネックになってしまう。

例えば特許文献１にはプログラムコードで記述されたシナリオに従って、入力画像とこの入力画像に対する画像処理の期待値としての教師画像からなる複数の画像情報を生成し、前記生成された複数の学習情報を機械学習により、画像処理アルゴリズムを合成する機械学習モジュールを有した情報処理装置が公開されている。

特開２０１６−７１５９７公報

しかしながら、この手法は事前に撮影した複数の原画像と教師データを元に、類似の学習情報を生成するため、画像データの撮影と教師データの人手による作成は行う必要がある。本手法を用いて画像データと教師データの作成コストを減らすためには、教師データを作成するための元となる原画像を減らすしかないが、機械学習による物体認識システムでは、学習情報を与える際に、それぞれ似通った情報を与えた場合、過学習により検出性能が下がることが一般的に知られている。そのため、特許文献１の手法を少ない原画像を元に適用した場合、過学習が起こる可能性があり、これを避けるためには原画像を大量に集める必要性があり、結果としてこの手法によって削減できる画像データと教師データの作成コストは微小であると想定される。

本発明は、以上の課題を鑑みてなされたものであり、簡便に大量の仮想画像データと教師データを自動作成可能な機械学習用データベース作成システムを提供することを目的とする。

上記課題を解決するための本発明の特徴は、例えば以下の通りである。

３次元形状情報計測手段により取得した地形や建物の３次元形状情報を入力する３次元形状データ入力部と、環境情報を３次元形状情報から自動的に認識し分類を行う３次元シミュレータ部と、３次元シミュレータ部が認識した環境情報およびセンサのセンサパラメータに基づき、仮想センサデータおよび教師データを出力する教師データ出力部と、を有する機械学習用データベース作成システム。

本発明により、簡便に大量の仮想画像データと教師データを自動作成可能な機械学習用データベース作成システムを提供できる。上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。

本発明の一実施形態の構成を示した図である。 本発明の一実施形態の詳細の構成の一例について示した図である。 地形の３次元形状情報を取得する構成の一例である。 地形の３次元形状を生成する手法の一例である。 ３次元環境認識部の処理手順の一例である。 ３次元環境認識部の認識結果の一例である。 本発明の一実施形態で取り扱う物体３次元形状データの一例である。 ３次元仮想空間生成部において生成したシーンの一例である。 仮想センサデータ生成部において生成した仮想センサデータの一例である。 教師データ生成部において生成した教師データの一例である。 生成した仮想センサデータと教師データを用いて物体認識アルゴリズムを動作させる方式の一例である。 物体認識アルゴリズムによる検出結果の一例である。

以下、図面等を用いて、本発明の実施形態について説明する。以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。

本実施例は、本発明を用いて機械学習用データベースを作成し、そのデータベースによって学習した機械学習システムによる物体認識システムを構成する場合の一例である。機械学習用データベースは、例えば、自律走行車両向けの外界センシングシステムのための物体検出に用いられる。

本実施例に係る機械学習用データベースでは、環境の３次元形状データと検出したい対象の物体の３次元形状データを入力することにより、３次元シミュレータ部において自動的にシーンを作成し、仮想画像データと教師データを人手によることなく自動的に生成することができる。これにより、機械学習を用いた物体認識システムを実装する上で必要な画像データと教師データといった学習情報を低コストで提供することが可能な、機械学習用データベース自動生成システムを提供することができる。

本実施例に係るセンサキャリブレーションシステムにおいては、例えばＵＡＶなどを用いた３次元形状情報取得手段により、キャリブレーション用のランドマークの位置及び形状を正確に測定し、かつ車両位置を推定することで、センサ間位置及びセンサ車両間の位置を高精度に推定、補正することができる。これによりセンサを用いた障害物検出システムを健全に動作させることが可能となる。

図１は、本実施例の構成について示した図である。図２は、本発明の一実施形態の詳細の構成の一例について示した図である。図３は、地形の３次元形状情報を取得する構成の一例である。

本実施例ではまず、３次元形状データ入力部１１において計測対象３の地形の３次元形状情報を取得し、続いて車両情報、センサ情報を３次元シミュレータ部１２に入れることにより、環境の仮想空間を生成する。続いてその仮想空間の情報と、事前に得られた車両情報とセンサ情報に基づいて、教師データ出力部１３において仮想画像データ、教師データ群を機械学習システムに教師用データのデータベースとして与える。これにより、機械学習システムが仮想画像データと教師データをもとに学習し、覚えさせた計測対象の物体を認識することが可能な物体認識システムを構築することができる。

続いて、本実施例の詳細な構成について図２に示す。以降この構成に基づき、本実施例について説明する。

まず、環境３次元情報取得手段４５を用い、３次元形状データ入力部１１の地形３次元形状データ入力部１１１に計測対象３の３次元形状データを与える。３次元形状を計測する方法（３次元形状情報計測手段）としては例えば図３に示すようなＵＡＶ２（無人航空機）に空撮用カメラ２１やＬｉｄａｒなどのセンサを取り付ける方法などが考えられる。このとき、環境３次元形状情報取得手段４５は例えば無人航空機、及び有人航空機、人工衛星などの機体にカメラ、Ｌｉｄａｒ、ミリ波レーダ、超音波センサ及びそれに類する環境の形状もしくは環境の輝度、色情報、温度情報を取得することが可能なセンサを取り付け、計測し、取得したものとするが、３次元形状情報が取得可能であればこの構成は限定されない。また、自動車にカメラやＬｉｄａｒ及びＧＰＳを取り付けた構成などでも環境の３次元形状データを取得可能である。

図２に示すようにＵＡＶ２と空撮用カメラ２１を用いて計測対象３の地形の３次元形状情報を取得する場合、この構成ではまず、計測対象３の上空を飛行させる。この際に、空撮用カメラ２１で計測対象３を連続撮影する。このとき、撮影した画像の前後が８０％前後、横が６０％前後他の撮影した画像と重なるよう撮影するのが望ましいとされている。

続いて、ＵＡＶ２を用いて撮影した画像から３次元形状情報を取得する方法について図４に示す。図４は、地形の３次元形状を生成する手法の一例である。ＵＡＶ２によって撮影した画像２１１を用いて、３次元復元用計算機４上に実装されたアルゴリズムである３次元点群生成部４１では、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）及びＭｕｌｔｉ Ｖｉｅｗ Ｓｔｅｒｅｏ（ＭＶＳ）を用いることで、計測対象３の３次元形状情報を点群情報として得ることができる。この３次元点群情報を元に、サーフェイス生成部４２ではこれをメッシュ化し、テクスチャ情報とサーフェイスの法線ベクトル情報を有した３次元サーフェイス情報を生成する。この３次元形状情報を３次元形状情報格納部４３に保存する。なおこれらの技術に関しては、公知の技術のため、ここでは割愛する。こうして計測対象の３次元地形形状データ４４を得ることができた。

続いて、機械学習システム５１を用いた物体認識システムにおいて計測対象としたい物体の３次元情報を物体３次元情報取得手段４６において計測し、３次元形状情報を３次元の点群、及びメッシュ情報として、３次元形状データ入力部１１の物体３次元形状データ入力部１１２に与える。このとき、この物体３次元情報取得手段４６は環境３次元情報取得手段４５と類似の構成が考えられる。例えば、単眼カメラもしくは複数カメラとＳｆＭ及びＭＶＳを用いることにより、物体の３次元形状情報を取得する手段や、あるいはＬｉｄａｒを用いて計測する方法などが考えられる。なお、これらの技術も公知であるため、ここでは割愛する。なお、物体の３次元形状情報を物体３次元形状データ入力部１１２に入力する際、この情報はメートルなど実際のスケール情報を有した情報で与えるとし、また物体３次元形状情報の上下方向の情報も与えることとする。例えば、入力する物体の情報が車両の場合、タイヤ部分を下方向とし、屋根方向を物体の上方向と設定する。

なお、このとき物体３次元情報取得手段４６から与える３次元形状情報は複数種類でも良い。例えば、最終的にダンプトラック、ショベルカー、及び作業者を認識可能な物体認識システムを構成する場合、物体３次元形状データ入力部１１２には、ダンプトラック、ショベルカー、及び作業者の３次元形状データを入力する。

以上により、必要な３次元形状情報を３次元形状データ入力部１１が取得できたので、続いてこれらの情報を用いた処理について説明する。

地形３次元形状データ入力部１１１は受け取った地形の３次元形状情報を３次元環境認識部１２１に渡す。３次元環境認識部１２１ではこの情報を元に、受け取った地形の環境情報を自動的に認識する。一例として、図５に３次元環境認識部１２１が地形の３次元形状情報から、任意の車両の走行可能領域を環境情報として抽出する手法について解説する。図５は、３次元環境認識部の処理手順の一例である。

まず、ターゲットとする環境の地形の３次元形状情報を取得する。例えば、Ａ鉱山で利用するシステムの場合、ここにはＡ鉱山の３次元形状情報を入力する（Ｓ１１）。ここでは、その３次元形状情報は３次元の点群情報として受け取ると仮定する。続いて、検出対象の物体の３次元形状情報を取得する（Ｓ１２）。続いて対象とする自車両の情報と、センサの情報を取得する（Ｓ１３）。ここで対象とする自車両とは、例えば、作成するデータベースを用いて、実装する物体認識システムを車種Ａ向けに開発したいとする場合、ここでは車種Ａの情報を自車両の情報として与える。このとき、与える情報は自車両の形状や、走行する際の速度域、上り坂、下り坂の走破性能、段差や障害物などの乗り越え性能などである。センサ情報は障害物を認識させるために自車に搭載するセンサの種別や、計測性能であり、例えばセンサとしてカメラを対象とする場合は、カメラの解像度、フレームレート、レンズの焦点距離、歪みなどの内部パラメータ、及びカメラの設置位置、角度といったセンサの設置位置情報を与える。続いて、得られた情報に基づき、得られた地形情報から自車の走行可能領域を推定する。まず、３次元点群の各点とその周囲の点に基づき、法線ベクトルを各点ごとに算出する（Ｓ１４）。このとき、法線ベクトルを算出する基準となる任意の点に対する周囲の点は、任意の点から距離ε１以内にあることを判断基準とする。距離ε１はユーザによって事前に設定される閾値である。このとき、任意の点に対する周囲の点の探索にはＫｄ−ｔｒｅｅ法やＬＳＨ法などの高速な近傍点探索手法を用いることが望ましい。続いて算出した各点の法線ベクトルを重力のベクトルと傾きを比較する。このとき、θ以上傾いている法線ベクトルを有す点群を削除する（Ｓ１５）。このとき、θは自車両が登坂、降坂可能な角度に基づき設定するのが望ましい。続いて、残った点群に対し、これらを点群間のユークリッド距離に基づきクラスタリング処理を実施する（Ｓ１６）。このクラスタリング処理では事前に設定した閾値ε２に基づき、点群をクラスタリングする。例えば任意の点Ａと点Ｂに対し、閾値ε２以内の点は繋がっているとし、閾値ε２以上離れている点は繋がっていないと判断したとき、任意の点Ａと任意の点Ｂの距離が閾値ε２以上離れている場合でも、他の閾値ε２以内の距離にある点を伝うことで、任意の点Ｂにたどり着くことができる場合、この点Ａと点Ｂは同じクラスに分類されるとする。点群のすべての点のクラスタリングを実施後、すべての点を３次元座標から高さを取り除いた２次元座標系に投影する。Ｓ１６で分類したクラスごとに構成される点群すべてを過不足なく包含する矩形を求め、その面積が事前の閾値以下の領域は走行可能領域ではないとしてそれらのクラスに属す点群を除去する（Ｓ１７）。これらの処理の後、残った領域を走行可能な領域とし、環境情報として記録する（Ｓ１８）。

以上の処理によって抽出された環境情報の一例を図６に示す。ここで、領域Ａは空白の領域、領域Ｂは自車が走行不可能な領域、領域Ｃは自車が走行可能な領域と分類されている。図６は、３次元環境認識部の認識結果の一例である。

続いて、３次元環境認識部１２１で認識した環境情報をシナリオ自動作成部１２２に与える。シナリオ自動作成部では、得られた地形の３次元形状情報と物体の３次元形状情報から、シーンを作成する役割を有している。例えば物体認識システムの検出対象として図７のようなダンプトラックの物体３次元形状データ１１２１が与えられたとする。図７は、本発明の一実施形態で取り扱う物体３次元形状データの一例である。

続いて、シナリオ自動作成部１２２ではこのダンプトラックと、３次元環境認識部１２１から与えられた地形の３次元形状データ及び、環境情報から、このダンプトラックがどこの領域になら存在しうるかを判定する。例えば、３次元環境認識部１２１で走行可能な領域であると判定した点群からランダムに１点を選択し、そこにダンプトラックを配置する場合、ダンプトラックのフットプリントが走行可能な領域から逸脱しないかを判定する。逸脱している場合は、再度点をランダムに選択し、逸脱していなかった場合はその箇所にダンプトラックを配置すると決定する。それらの情報をシナリオ自動作成部１２２は３次元仮想空間生成部１２５に与え、シナリオ自動作成部１２２が設定したシナリオに基づきダンプトラックを仮想的に配置する。その一例を図示したものを図８に示す。図８は、３次元仮想空間生成部において生成したシーンの一例である。

３次元地形形状データ４４にダンプトラックの物体３次元形状データ１１２１が合成されている様子がわかる。また、ダンプトラックの物体３次元形状データ１１２１は、走行可能領域上に配置されている。以上の処理に基づき、３次元シミュレータ部１２において、３次元仮想空間が生成された。

最後に生成した３次元仮想空間の情報に基づき、教師データ出力部１３の教師データ生成部１３１において教師データを、仮想センサデータ生成部１３２において仮想センサデータを生成する。まず３次元シミュレータ部１２の車両パラメータ入力部１２３において入力された車両情報に基づき、３次元仮想空間上の自車の位置を決定する。これは、シナリオ自動作成部１２２において説明した物体３次元形状データ１１２１を配置する手法と同様であるが、事前に配置した物体３次元形状データ１１２１のフットプリントと、自車のフットプリントが重畳する場合は、再度点の選択をやり直す。続いて自車の位置が設定されたら、１２４のセンサパラメータ入力部１２４において入力されたパラメータに応じて、仮想センサデータ生成部１３２において仮想のセンサデータを生成する。例えば、入力されたセンサデータがカメラのものだった場合、カメラの設置位置、画像素子の性能、及びレンズの性能、歪みに基づいて透視投影変換により、カメラが取得できるであろう２次元画像を生成する。この処理によって生成される仮想センサデータ１３２１の一例を図９に示す。図９は、仮想センサデータ生成部において生成した仮想センサデータの一例である。

続いて、仮想センサデータ１３２１に対応する教師データを作成する。教師データの作成には３次元環境認識部１２１によって認識された環境情報を用いる。例えば、３次元環境認識部１２１において、地形の３次元形状情報を構成する各点ごとに環境情報が分類されていた場合、仮想センサデータとして得られる２次元画像の画素ごとに環境情報を持った教師データを教師データ生成部１３１において生成する。例えば、図１０のように仮想センサデータ１３２１が生成された場合、画素毎の環境情報を教師データとして作成するので、教師データ生成部では教師データ１３１１を生成することになる。以上により、仮想センサデータ１３２１と教師データ１３１１を生成することができた。図１０は、教師データ生成部において生成した教師データの一例である。

その後、再度シナリオ自動作成部１２２の処理に戻り、新たなシナリオを生成し、仮想センサデータと教師データを生成する。この処理を繰り返すことで、大量の仮想センサデータと教師データを生成する。その様子を図１１に示す。図１１は、生成した仮想センサデータと教師データを用いて物体認識アルゴリズムを動作させる方式の一例である。

仮想センサデータ１３２１と教師データ１３１１を機械学習用計算機５条の機械学習システム５１１に与え、機械学習を実施する。ここで用いる機械学習の手法としてはＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ ＭａｃｈｉｎｅやＢｏｏｓｔｉｎｇ、ニューラルネットワーク、もしくはその発展的手法が考えられる。これらの手法は公知技術のため、ここでは割愛する。得られた学習結果５２を物体認識アルゴリズム６２のパラメータとして与える。このとき学習結果から得られるパラメータとしては、検出対象とする物体を認識する上で適切な特徴量や、その特徴量を用いて物体認識する上で必要となる閾値などが考えられる。このパラメータを入力された物体認識アルゴリズム６２は車両用外界センサ６１から得られた情報から、学習した物体、あるいはそれと類似した物体を検出し、検出結果出力部６３にその情報を渡す。図１２にその一例を示す。図１２は、物体認識アルゴリズムによる検出結果の一例である。

車両内に設置されたディスプレイ７に、自車の前方車両の位置を検出結果７１として表示している。この方法以外にも、例えば自車と対象の物体が近づきすぎた場合に警報で知らせるといった方法も考えられる。

１１ ３次元形状データ入力部
１１１ 地形３次元形状データ入力部
１１２ 物体３次元形状データ入力部
１１２１ 物体３次元形状データ
１２ ３次元シミュレータ部
１２１ ３次元環境認識部
１２２ シナリオ自動作成部
１２３ 車両パラメータ入力部
１２４ センサパラメータ入力部
１２５ ３次元仮想空間生成部
１３ 教師データ出力部
１３１ 教師データ生成部
１３１１ 教師データ
１３２ 仮想センサデータ生成部
１３２１ 仮想センサデータ
２ ＵＡＶ
２１ 空撮用カメラ
２１１ 撮影した画像
３ 計測対象
４ ３次元復元用計算機
４１ ３次元点群生成部
４２ サーフェイス生成部
４３ ３次元形状情報格納部
４４ ３次元地形形状データ
４５ 環境３次元情報取得手段
４６ 物体３次元情報取得手段
５ 機械学習用計算機
５１ 機械学習システム
５２ 学習結果
６１ 車両用外界センサ
６２ 物体認識アルゴリズム
６３ 検出結果出力部
７ ディスプレイ
７１ 検出結果

Claims (3)

1. ３次元形状情報計測手段により取得した地形や建物の３次元形状情報を入力する３次元形状データ入力部と、
   環境情報を前記３次元形状情報から自動的に認識し分類を行う３次元シミュレータ部と、
   前記３次元シミュレータ部が認識した前記環境情報およびセンサのセンサパラメータに基づき、仮想センサデータおよび教師データを出力する教師データ出力部と、
   を有する機械学習用データベース作成システム。
2. 請求項１の機械学習用データベース作成システムにおいて、
   前記３次元形状データ入力部は、
   前記３次元形状情報を入力する地形３次元形状データ入力部と、
   任意の物体の３次元形状データを入力する物体３次元形状データ入力部と、を有し、
   前記３次元シミュレータ部は、前記地形３次元形状データ入力部と前記３次元形状データ入力部の情報を統合し、仮想空間を生成する３次元仮想空間生成部を有する
   機械学習用データベース作成システム。
3. 請求項１の機械学習用データベース作成システムにおいて、
   前記３次元シミュレータ部は、前記地形３次元形状データ入力部で得られた前記３次元形状情報と、３次元環境認識部によって抽出された前記環境情報と前記物体３次元形状データ入力部が得た前記物体３次元形状情報と、に基づき、前記物体３次元形状情報と前記物体３次元形状情報の相対位置をランダムに作成するシナリオ自動作成部を有する機械学習用データベース作成システム。

Images