JP7140933B1

JP7140933B1 - 機械学習システム

Info

Publication number: JP7140933B1
Application number: JP2022053024A
Authority: JP
Inventors: 寛明澤戸; 淳也古賀; 求島山
Original assignee: Ｐｃｉソリューションズ株式会社
Priority date: 2022-03-29
Filing date: 2022-03-29
Publication date: 2022-09-21
Anticipated expiration: 2042-03-29
Also published as: JP2023146041A

Abstract

【課題】３次元仮想空間を利用して多数の学習用データを容易に作成する機械学習システムを提供する。
【解決手段】機械学習システム１は、３次元仮想空間・生成描画手段１０、ＡＩ認識対象物・情報生成描画手段２０、３次元仮想空間・シーン生成描画手段３０、機械学習用データ生成手段４０、ＡＩモデル機械学習手段５０及び機械学習済みモデル実行手段６０を備える。ＡＩ認識対象物・情報生成描画手段２０は、３次元仮想空間における認識対象物の特徴点の３次元空間情報を生成するＡＩ認識対象物特徴点・３次元空間情報生成機能と、３次元空間情報を参照し、３次元仮想空間の指定された位置にＡＩ認識対象物の３次元空間情報（マーカ）を配置、描画するマーカ配置・描画機能と、ＡＩ認識対象物の２次元画像上の位置情報（ランドマーク）を生成するＡＩ認識対象物特徴点・２次元画像位置情報生成機能を有している。
【選択図】図１

Description

本発明は、機械学習用のデータを作成する機械学習システムに関する。

従来、距離センサ等を用いて道路上を走行する車両の接近、離反を認識することができる認識装置が知られている。具体的には、カメラやライダー装置を利用して実空間上でデータ収集を行う。さらに、このデータに基づいて機械学習用データを作成して教師データとしてＡＩモデルに与え、機械学習をさせる。

例えば、特許文献１の車両システムは、カメラと、レーダ装置と、ライダーと、物体認識装置と、通信装置と、ＨＭＩ（Human Machine Interface）と、車両センサと、ナビゲーション装置と、ＭＰＵ（Map Positioning Unit）と、運転操作子と、自動運転制御装置と、走行駆動力出力装置と、ブレーキ装置と、ステアリング装置を備えている。

自動運転制御装置の認識部（第１制御部）は、物体認識装置から取得したカメラ画像を第１学習済みモデルに入力し、車両の周辺にある物体の位置及び速度、加速度等の状態や、車両が走行している車線（走行車線）を示す第１結果を取得する。また、認識部は、物体認識装置から取得したライダー画像を第２学習済みモデルに入力し、車両の周辺にある物体の位置及び速度、加速度等の状態や車線を示す第２結果を取得する。

認識部は、第１結果と第２結果とをセンサフュージョン処理することで、車両の周辺にある物体の位置及び速度、加速度等の状態や車線を認識することができる（特許文献１／段落００１８，００４６、図８）。

また、特許文献２（ウェブサイト）は、１台のフロントカメラから得たデータを機械学習に用いる技術が開示されている。ディープニューラルネットワークは、レーダとライダーのデータをディープラーニングの教師情報として用いることにより、物体までの距離を予測するトレーニングを行う。レーダとライダーから送信された信号を直接反映することで、道路のトポロジーに関わらず物体までの厳密な距離情報を得ることができる。

特開２０２１－０４７１２０号公報

距離の予測：予測精度を向上させるシステムの開発(NVIDIA,2019.7.11) [令和４年３月２８日検索]，インターネット＜URL:https://blogs.nvidia.co.jp/2019/07/11/drive-labs-distance-to-object-detection/＞

しかしながら、特許文献１，２の方法は、ライダー装置や距離センサが高価であるため、システム全体のコストが高くなるという問題がある。さらに、実空間上で学習用データの元となるデータを数多く収集する必要があるため、手間、時間がかかっていた。

本発明は、このような事情に鑑みてなされたものであり、３次元仮想空間を利用して機械学習システムを提供することを目的とする。

上記目的を達成するため、本発明の機械学習システムは、
３次元ＣＧにより、物体を３次元仮想空間に生成して描画する３次元仮想空間・生成描画手段と、３次元ＣＧにより、前記３次元仮想空間にＡＩモデルの認識対象物に関する情報を生成して描画するＡＩ認識対象物・情報生成描画手段と、３次元ＣＧにより、前記３次元仮想空間と前記認識対象物の少なくとも一方の設定を変更することで様々なシーンを生成して描画する３次元仮想空間・シーン生成描画手段と、前記３次元仮想空間・シーン生成描画手段で生成された前記認識対象物を含むＣＧ画像と、前記ＡＩ認識対象物・情報生成描画手段で生成された前記認識対象物に関する情報から前記ＡＩモデルの機械学習に必要な学習用データを生成する機械学習用データ生成手段と、前記機械学習用データ生成手段によって生成された前記学習用データを用いて、前記ＡＩモデルの学習を行うＡＩモデル機械学習手段と、前記ＡＩモデル機械学習手段によって学習された学習済みモデルを用いて、前記ＡＩモデルによる処理を実行するＡＩ機械学習済みモデル実行手段と、を備え、
前記ＡＩ認識対象物・情報生成描画手段は、前記３次元仮想空間における前記認識対象物の特徴点の３次元空間情報を生成する３次元空間情報生成機能と、前記３次元空間情報を参照し、前記３次元仮想空間の指定された位置に前記認識対象物の３次元空間情報を配置、描画する３次元空間情報配置描画機能と、前記３次元空間情報配置描画機能によって描画された前記認識対象物の２次元画像上の位置情報を生成する２次元画像位置情報生成機能と、を有することを特徴とする。

本発明の機械学習システムは、３次元仮想空間・生成描画手段と、ＡＩ認識対象物・情報生成描画手段と、３次元仮想空間・シーン生成描画手段と、機械学習用データ生成手段と、ＡＩモデル機械学習手段と、ＡＩ機械学習済みモデル実行手段を備えている。

ＡＩ認識対象物・情報生成描画手段は、３次元空間情報生成機能により、３次元仮想空間において認識対象物の特徴点の３次元空間情報を生成する。次に、３次元空間情報配置描画機能により、３次元仮想空間の指定された位置に認識対象物の３次元空間情報を配置、描画する。３次元空間情報が配置された３次元仮想空間のＣＧ画像は、学習用データ（画像データ）として用いられる。

次に、ＡＩ認識対象物・情報生成描画手段は、２次元画像位置情報生成機能により、３次元空間情報配置描画機能によって描画された認識対象物の２次元画像上の位置情報を生成する。この位置情報は、学習用データ（教師数値データ）として用いられる。

ＡＩモデル機械学習手段は、上記処理により生成された多数の学習用データ（画像データと教師数値データの組合せ）を用いてＡＩモデルを学習させる。そして、ＡＩ機械学習済みモデル実行手段は、学習によって得られた学習済みモデルを用いて、ＡＩモデルによる処理を実行する。この機械学習システムは、上記の一連の処理を３次元仮想空間上で実行可能であるため、多数の学習用データを容易に作成することができる

第１実施形態に係る機械学習システムの全体構成図である。３次元仮想空間（道路、背景等）の透視変換画像を示す図である。テクスチャ平面の３次元仮想空間への配置を説明する図である。図２の３次元仮想空間上の特徴点の座標を示す図である。図４の特徴点の位置にマーカを配置した図である。図４の特徴点の位置にランドマークを配置した図である。図６の各ランドマークの重心座標を示す図である。機械学習システムによるＡＩモデルの実行結果を示す図である。移動体を認識する他のＡＩモデルの実行結果を示す図である。第２実施形態に係る３次元仮想空間（道路）の透視変換画像を示す図である。図１０の３次元仮想空間上の特徴点の座標を示す図である。図１１の特徴点の位置にランドマークを配置した図である。３次元仮想空間上の距離情報の利用例を説明する図である。移動体を認識する他のＡＩモデルの実行結果を示す図である。補完曲線（パラメトリック関数）を説明する図である。第３実施形態に係る３次元仮想空間上の特徴点の座標を示す図である。図１６の特徴点の位置にランドマークを配置した図である。３次元仮想空間上の仮想走行レーンの例を示す図である。ＡＩモデルによる道路の縁端領域に存在する移動体の認識を説明する図である。ＡＩモデルによる３次元仮想グリッドを用いた移動体の認識を説明する図である。

以下では、本発明の好ましい実施形態について説明するが、これらを適宜改変し、組合せてもよい。以下の説明及び添付図面において、実質的に同一又は等価な部分には同一の参照符号を付して説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る機械学習システムの全体構成を示している。図１において、白矢印は画像情報の流れを示し、黒矢印はＡＩモデルの機械学習の際、教師データ（正解情報）となる数値情報の流れを示している。以下では、適宜図２～図９を参照して説明を補足する。

図１に示すように、機械学習システム１は、３次元仮想空間・生成描画手段１０と、ＡＩ認識対象物・情報生成描画手段２０と、３次元仮想空間・シーン生成描画手段３０と、機械学習用データ生成手段４０と、ＡＩモデル機械学習手段５０と、機械学習済みモデル実行手段６０とを備えている。

［３次元仮想空間・生成描画手段１０］
３次元仮想空間・生成描画手段１０は、３次元ＣＧ（Computer Graphics）により３次元仮想空間に物体を生成し、描画する。ここでいう「物体」とは、道路、車両、車線、ガードレール、道路標識、背景（山、建物、木々等）のことをいう。

図２は、３次元仮想空間のある視点をカメラで撮像したときの透視変換画像（ＣＧ画像）を示している。透視変換画像は３次元仮想空間・生成描画手段１０により作成され、３次元仮想空間上には直線状の道路の他、背景としての草原や山々等が描画されている。

３次元仮想空間を生成するため、例えば、３次元ＣＧの標準ソフトウェアである“OpenGL(登録商標)”を使用する。“OpenGL”は、テクスチャ画像を四角形ポリゴンにマッピングしたテクスチャ平面を生成する。さらに、“OpenGL”は、３次元仮想空間上において、生成したテクスチャ平面を任意の位置に配置し、移動、回転、拡大縮小等を行うことができる。なお、このような３次元仮想空間を生成する手段は他にも様々なものがあるため、上述のテクスチャ平面を配置する手法に限られるものではない。

具体例は後述するが、“OpenGL”によりテクスチャ画像（パイロン）を作成し、パイロンを四角形ポリゴンにマッピングしてテクスチャ平面を生成する。例えば、図３に示すようなテクスチャ平面Ｍ（以下、マーカという）を、３次元仮想空間の任意の位置に配置することができる。

［ＡＩ認識対象物・情報生成描画手段２０］
ＡＩ認識対象物・情報生成描画手段２０は、３次元ＣＧにより３次元仮想空間にＡＩモデルの認識対象物に関する情報を生成し、描画する。ここで、図１に示すように、ＡＩ認識対象物・情報生成描画手段２０は、（１）ＡＩ認識対象物特徴点・３次元空間情報生成機能と、（２）マーカ配置・描画機能と、（３）ＡＩ認識対象物特徴点・２次元画像位置情報生成機能を有している。

ＡＩ認識対象物・情報生成描画手段２０は、ＡＩ認識対象物特徴点・３次元空間情報生成機能（本発明の「３次元空間情報生成機能」）により、３次元仮想空間の情報を参照して、ＡＩ認識対象物の特徴点の３次元空間情報（位置、距離等）を生成する。本実施形態において、この３次元空間情報は、図４に示すような道路上の座標Ｐ１（ｘ１，ｙ１，ｚ１）、Ｐ２（ｘ２，ｙ２，ｚ２）、Ｐ３（ｘ３，ｙ３，ｚ３）、・・・である。

また、ＡＩ認識対象物・情報生成描画手段２０は、マーカ配置・描画機能（本発明の「３次元空間情報配置描画機能」）により、ＡＩ認識対象物の特徴点の３次元空間情報を参照して、３次元仮想空間の指定された位置にマーカを生成し、描画する。

図５は、ＡＩ認識対象物・情報生成描画手段２０のマーカ配置・描画機能により、図３の道路上の座標Ｐ１～Ｐ３（図５参照）に対応する位置にマーカを配置した様子を示している。ここでは、３個のパイロンを２０ｍ間隔で直線状に配置している。最も手前側及び最も奥側のパイロンは道路上の境界線を形成する特徴点として、また、中央のパイロンは特徴点間を補完する位置に配置されたものとして、それぞれ描画される。

図５のＣＧ画像は、ＡＩモデル学習用の「画像データ」を構成する。パイロンの個数、間隔は図４の態様に限られず、任意の位置に配置することができる。

次に、ＡＩ認識対象物・情報生成描画手段２０は、ＡＩ認識対象物特徴点・２次元画像位置情報生成機能（本発明の「２次元画像位置情報生成機能」）により、ＡＩ認識対象物の特徴点の２次元画像上の位置情報を生成する。具体的には、マーカ配置・描画機能によって描画されたマーカの２次元画像上の座標(Ｐ１,Ｐ２)にテクスチャ平面Ｌ（以下、ランドマークという）を生成し、描画する。

また、ＡＩ認識対象物・情報生成描画手段２０は、ＡＩ認識対象物特徴点・２次元画像位置情報生成機能の中に、（Ａ）特徴点を示すマーカのテクスチャ画像を単色（例えば、黄色）とし、それ以外の背景を別の単色（例えば、黒色）で描画する「ランドマーク・背景単色描画機能」と、(Ｂ)ランドマーク・背景単色描画機能によって描画された画像から２次元画像処理技術によってマーカに設定した単色で塗りつぶされた領域を抽出する「指定色領域抽出機能」と、（Ｃ）抽出された各領域の輪郭を取得し、さらに重心座標を算出する「指定色領域重心座標取得機能」を備えている（図１参照）。

上記処理は、例えば“OpenCV”といった汎用的な２次元画像処理ソフトパッケージで提供される機能を利用して実行する。“OpenCV”は、領域の抽出や重心座標の算出等の作業を行うことができる。

図６は、ＡＩ認識対象物・情報生成描画手段２０のＡＩ認識対象物特徴点・２次元画像位置情報生成機能（ランドマーク・背景単色描画機能）により、３次元仮想空間上の特徴点（座標Ｐ１，Ｐ２）の位置に、それぞれ大、小のランドマークＬ（斜線の正方形）を配置した様子を示している。

また、図７は、ＡＩ認識対象物特徴点・２次元画像位置情報生成機能（指定色領域抽出機能及び指定色領域重心座標取得機能）により、図６のランドマークＬの重心座標Ｐ１（ｗ１，ｈ１）、Ｐ２（ｗ２，ｈ２）を決定した様子を示している。このように、ＡＩ認識対象物・情報生成描画手段２０は、認識対象物の３次元仮想空間上の位置情報を２次元画像上の位置情報に変換することができる。座標Ｐ１，Ｐ２の座標情報（認識対象物情報）は、ＡＩモデル学習用の「教師数値データ」を構成する。

［３次元仮想空間・シーン生成描画手段３０］
３次元仮想空間・シーン生成描画手段３０は、３次元ＣＧにより、３次元仮想空間や認識対象物の設定（位置、形状、角度、テクスチャ画像等）を変更することで様々なシーンを生成して描画する。３次元仮想空間・シーン生成描画手段３０により、機械学習用データのバリエーションを増加させることができる。

なお、ＡＩ認識対象物・情報生成描画手段２０で作成された認識対象物情報と、３次元仮想空間・シーン生成描画手段３０で作成されたＣＧ画像とは、詳細を後述する機械学習用データ生成手段４０に送信される。

［機械学習用データ生成手段４０］
機械学習用データ生成手段４０は、３次元仮想空間・シーン生成描画手段３０で生成された認識対象物を含む「画像データ」と、ＡＩ認識対象物・情報生成描画手段２０で生成された認識対象物の「教師数値データ」とからＡＩモデルの機械学習に必要な機械学習用データを生成する。

３次元仮想空間上では、道路（幅、勾配、車線数）やその周辺の様子（背景、障害物、天候）を容易に変更可能であるため、実空間上と比較してバリエーションに富んだ機械学習用データを作成することができる。そのため、後述するＡＩモデル機械学習手段５０は、機械学習の機会を多く得ることができる。

［ＡＩモデル機械学習手段５０］
ＡＩモデル機械学習手段５０は、機械学習用データ生成手段４０によって生成された機械学習用データ（「画像データ」と、それに紐付けされた特徴点の「教師数値データ」）を用いて、ＡＩモデルに機械学習をさせる。機械学習用データ生成手段４０により多くのパターンの機械学習用データが作成され、機械学習に利用される。

本実施形態では、機械学習の１つである畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いて、入力された機械学習用データに対して畳み込み演算を実行し、その特徴量を抽出する。

ＡＩモデルの生成、学習は、市販のプラットフォームを利用して実行することができる。プラットフォームの１つとして、例えば“Keras”がある。“Keras”は、ＡＩモデルを定義すると共に、市場に提供されているＡＩモデル（例えば、図１に示す“VGG16”）を拡張することができる。

具体的には、図１に示すように、VGG16モデルにインプットレイヤを追加し、入力データとして画像データ（256×256、RGB３バイト）と教師数値データを与えて機械学習をさせる。これにより、VGG16モデルにアウトプットレイヤ（Dense）が追加され、出力データとして座標Ｐ１（ｘ１，ｙ１）、Ｐ２（ｘ２，ｙ２）の４変数（ｘ１，ｙ１，ｘ２，ｙ２）が得られる。

［機械学習済みモデル実行手段６０］
機械学習済みモデル実行手段６０は、ＡＩモデル機械学習手段５０によって学習された学習済みモデルを用いて、ＡＩモデルを実行する。この実行の結果、入力データからパイロンの列を認識することができる。

図８は、機械学習済みモデル実行手段６０によるＡＩモデルの実行結果を示している。図示するように、機械学習済みモデル実行手段６０は、入力データの最も手前側に位置するパイロンを認識して座標Ｐ１を取得すると共に、最も奥側に位置するパイロンを認識して座標Ｐ２を取得する。

座標Ｐ２は道路遠方に配置されているため、始点となる座標Ｐ１と終点となる座標Ｐ２とを結んだエリア境界線が得られる。このように、機械学習システム１は、複数のマーカを認識することで特徴点の２次元画像上の位置を推定し、特徴点同士を結んで２次元画像上における境界線を生成することができる。

また、図９の下段に示すように、移動体を認識可能な別のＡＩモデル(AI Model B)を実行することにより、画像データを解析して移動体（車両Ｖ）と、その位置を認識することができる。このようなＡＩモデルとして、例えば、Intel社の“OpenVINO(登録商標)”を用いることができる。

図９（下段右）は、車両Ｖの２次元画像上の位置情報を示している。機械学習システム１は、座標Ｐ１，Ｐ２を結ぶ直線と車両Ｖが交わる否かを判定することができる。この技術を応用することにより、機械学習システム１は、侵入規制エリアに侵入してくる移動体の判別等を行うことができる。

［第２実施形態］
次に、図１０～図１５を参照して、本発明の第２実施形態に係る機械学習システムについて説明する。なお、システムの全体構成は第１実施形態と同じであるが、ＡＩ認識対象物・情報生成描画手段２０の機能が一部異なる。

まず、ＡＩ認識対象物・情報生成描画手段２０は、ＡＩ認識対象物特徴点・３次元空間情報生成機能により、３次元仮想空間の情報を参照して、ＡＩ認識対象物の特徴点の３次元空間情報（位置、距離等）を生成する。３次元仮想空間の道路を参照し、３次元仮想空間の原点から指定された距離にある、道路中心線上の複数の点の座標を生成する。

図１０は、３次元仮想空間のある視点をカメラで撮像したときの透視変換画像（ＣＧ画像）を示している。道路上の４点Ｐ１～Ｐ４は、３次元仮想空間の特徴点である。図１０に示す透視変換画像は、ＡＩモデル学習用の「画像データ」を構成する。

次に、ＡＩ認識対象物・情報生成描画手段２０は、ＡＩ認識対象物特徴点・２次元画像位置情報生成機能により、ＡＩ認識対象物（道路）の特徴点の２次元画像上の位置情報を生成する。図１１に示すように、各特徴点は道路の中心線上にある。その座標の数値は、例えばＰ１（０，２５，０）、Ｐ２（０，５０，０）、Ｐ３（０，１００，０）、Ｐ４（０，２００，０）である。

次に、図１２に示すように、ＡＩ認識対象物特徴点・２次元画像位置情報生成機能によって、ＡＩ認識対象物の特徴点の３次元空間情報を参照し、３次元仮想空間の指定した位置(座標Ｐ１～Ｐ４)に単色のテクスチャ画像(例えば、黄色)を有するランドマークを生成し、描画する。

さらに、ＡＩ認識対象物特徴点・２次元画像位置情報生成機能は、描画されたランドマークの単色の領域を抽出し、当該領域の輪郭と重心座標を求めることにより、４つの座標Ｐ１（ｗ１,ｈ１）、Ｐ２（ｗ２,ｈ２）、Ｐ３（ｗ３,ｈ３），Ｐ４（ｗ４,ｈ４）を決定する。座標Ｐ１～Ｐ４の情報（認識対象物情報）は、ＡＩモデル学習用の「教師数値データ」を構成する。

機械学習システム１は、ここでの「画像データ」と、それに紐付けされた特徴点の「教師数値データ」とを用いて、ＡＩモデルに機械学習をさせる。図１３に示すように、機械学習システム１は３次元仮想空間内の道路の領域を認識し、原点から指定距離だけ離れた複数の点（距離推定ポイント）の２次元画像上の位置を推定することができる。

図１４の下段に示すように、移動体を認識可能な別のＡＩモデル(AI Model B)を実行することにより、画像データを解析して移動体（車両Ｖ）と、その位置を認識することができる。これにより、図１４（下段右）に示すように、車両Ｖの２次元画像上の距離情報が得られる。このように、機械学習システム１は、道路上を走行する移動体が原点からどの程度離れているかの情報を取得する装置に用いることができる。

また、機械学習システム１は、３次元仮想空間の原点から指定距離だけ離れた複数の特徴点から構成される補完曲線を生成し、補完曲線から道路上の特徴点の間の距離を推定することもできる。

図１５に示すように、距離情報から補完曲線を取得する。図１５において、横軸を原点からの距離Ｄ、縦軸を画像中の高さＨとすると、補完曲線はＤ＝Ｆ（Ｈ）のパラメトリック関数で与えられる。すなわち、高さｈを与えれば、距離ｄの情報が得ることができるので、道路上を走行する車両の原点からの距離レベルを推定することができる。

［第３実施形態］
次に、図１６～図２０を参照して、本発明の第３実施形態に係る機械学習システムについて説明する。ここでも、システムの全体構成は第１実施形態と同じであるが、ＡＩ認識対象物・情報生成描画手段２０の機能が一部異なる。

まず、ＡＩ認識対象物・情報生成描画手段２０は、ＡＩ認識対象物特徴点・３次元空間情報生成機能により、３次元仮想空間の情報を参照して、ＡＩ認識対象物の特徴点の３次元空間情報（位置、距離等）を生成する。３次元仮想空間の道路を参照し、３次元仮想空間の複数の点の座標を生成する。図１０に示したような透視変換画像（ＣＧ画像）は、ＡＩモデル学習用の「画像データ」を構成する。

次に、ＡＩ認識対象物・情報生成描画手段２０は、ＡＩ認識対象物特徴点・２次元画像位置情報生成機能により、ＡＩ認識対象物の特徴点の２次元画像上の位置情報を生成する。３次元仮想空間（道路）上の特徴点の座標として、図１６に示す座標Ｐ１～Ｐ８の８点を生成する。

座標Ｐ１～Ｐ８は、道路の中心線上の後方距離にある４点(Ｐ１～Ｐ４)（本発明の「第１特徴点」）と、最も手前側の特徴点Ｐ１の左右方向（中心線に直交する方向）にある２点（Ｐ５，Ｐ６）（本発明の「第２特徴点」）と、最も奥側の特徴点Ｐ４の左右方向にある２点（Ｐ７，Ｐ８）（本発明の「第３特徴点」）で構成される。

なお、道路の中心線上の４点(Ｐ１～Ｐ４)による距離レベルの推定は、第２実施形態の態様と同じである。詳細は後述するが、これらの座標情報から道路上に走行レーンを区画する３次元仮想グリッドを生成することができる。

次に、図１７に示すように、ＡＩ認識対象物特徴点・２次元画像位置情報生成機能によって、ＡＩ認識対象物の特徴点の３次元空間情報を参照し、３次元仮想空間の指定した位置(Ｐ１～Ｐ８)に単色のテクスチャ画像(例えば、黄色)を有するランドマークを生成し、描画する。

さらに、ＡＩ認識対象物特徴点・２次元画像位置情報生成機能は、描画されたランドマークの単色の領域を抽出し、当該領域の輪郭と重心座標を求めることにより、４つの座標Ｐ１（ｗ１,ｈ１）、Ｐ２（ｗ２,ｈ２）、Ｐ３（ｗ３,ｈ３），Ｐ４（ｗ４,ｈ４）、Ｐ５（ｗ５,ｈ５）、Ｐ６（ｗ６,ｈ６）、Ｐ７（ｗ７,ｈ７），Ｐ８（ｗ８,ｈ８）を決定する。座標Ｐ１～Ｐ８の情報（認識対象物情報）は、ＡＩモデル学習用の「教師数値データ」を構成する。

機械学習システム１は、ここでの「画像データ」と、それに紐付けされた特徴点の「教師数値データ」とを用いて、ＡＩモデルに機械学習をさせる。図１８に示すように、機械学習システム１は、道路の中心線を基準とした５つの仮想走行レーンＣ０（自車レーン），Ｒ１（右レーン１），Ｒ２（右レーン２），Ｌ１（左レーン１），Ｌ２（左レーン２）を設定することができる。

図中のＤ１～Ｄ４は、原点からの距離レベルを意味しているので、３次元仮想空間（道路）内の境界線で分割される３次元仮想グリッド（ここでは、２０個のグリッド）が生成される。

また、移動体を認識可能な別のＡＩモデルは、画像データを解析して移動体と、その位置を認識することができる。これにより、車両の２次元画像上の距離の情報が得られる。このように、機械学習システム１は、車両が存在するグリッドによって、道路上を走行する移動体がどのレーンにどの距離レベルで存在するかを検知する装置に用いることができる。

さらに、その移動体の加速度やグリッド間の移動をモニタすることで、おおよその移動ベクトルが推定される。機械学習システム１は、移動体の動き（追い越し、追い抜き等）を検知する装置に用いることができる。

上述の３次元仮想グリッドを、カメラで撮像した画像の道路の縁端領域の推定に利用してもよい。機械学習システム１は道路上の距離レベルを認識可能であるため、ＡＩ認識対象物・情報生成描画手段２０は、例えば距離レベルＤ４の座標を囲んだ領域（図１８の領域Ｒ）を切り取って、新たなＣＧ画像を取得することができる。

図１９に示す領域Ｒは道路の縁端領域であり、その内部に移動体（車両Ｖ）が存在している。ＡＩモデルは、移動体が道路遠方に存在する場合、移動体が画像全体に対してかなり小さく、周辺領域にノイズも多いため、高精度での認識が困難であった。

この点、機械学習システム１（ＡＩ認識対象物・情報生成描画手段２０）は、図２０に示すように、領域Ｒを切り取って拡大画像を生成する。そして、ＡＩモデルに入力して、機械学習済みモデル実行手段６０が移動体の認識処理を実行する。拡大画像では、車両Ｖが画像全体に対して大きく、ノイズ要素も削減されるため、移動体の認識精度を高めることができる。

本発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。上記実施形態の説明の中で、３次元ＣＧのソフトウェアやＡＩモデルのプラットフォームの一例を示したが、他のソフトウェア、プラットフォームで代替してもよく、機械学習用データの作成は可能である。

また、第１実施形態のマーカの数、第１～第３実施形態のランドマークの数や色彩は一例であって、これに限定されるものではない。例えば、第３実施形態においては、ランドマーク（特徴点）の数を変更することによりグリッド数を変化させ、認識可能な仮想走行レーンの数を増減させることができる。

１…機械学習システム、１０…３次元仮想空間・生成描画手段、２０…ＡＩ認識対象物・情報生成描画手段、３０…３次元仮想空間・シーン生成描画手段、４０…機械学習用データ生成手段、５０…ＡＩモデル機械学習手段、６０…機械学習済みモデル実行手段、Ｌ，Ｍ…テクスチャ平面、Ｖ…車両。

Claims

３次元ＣＧにより、物体を３次元仮想空間に生成して描画する３次元仮想空間・生成描画手段と、
３次元ＣＧにより、前記３次元仮想空間にＡＩモデルの認識対象物に関する情報を生成して描画するＡＩ認識対象物・情報生成描画手段と、
３次元ＣＧにより、前記３次元仮想空間と前記認識対象物の少なくとも一方の設定を変更することで様々なシーンを生成して描画する３次元仮想空間・シーン生成描画手段と、
前記３次元仮想空間・シーン生成描画手段で生成された前記認識対象物を含むＣＧ画像と、前記ＡＩ認識対象物・情報生成描画手段で生成された前記認識対象物に関する情報から前記ＡＩモデルの機械学習に必要な学習用データを生成する機械学習用データ生成手段と、
前記機械学習用データ生成手段によって生成された前記学習用データを用いて、前記ＡＩモデルの学習を行うＡＩモデル機械学習手段と、
前記ＡＩモデル機械学習手段によって学習された学習済みモデルを用いて、前記ＡＩモデルによる処理を実行するＡＩ機械学習済みモデル実行手段と、を備え、
前記ＡＩ認識対象物・情報生成描画手段は、
前記３次元仮想空間における前記認識対象物の特徴点の３次元空間情報を生成する３次元空間情報生成機能と、
前記３次元空間情報を参照し、前記３次元仮想空間の指定された位置に前記認識対象物の３次元空間情報を配置、描画する３次元空間情報配置描画機能と、
前記３次元空間情報配置描画機能によって描画された前記認識対象物の２次元画像上の位置情報を生成する２次元画像位置情報生成機能と、
を有し、
前記３次元仮想空間内の一領域を参照して、前記一領域内を区画する複数の特徴点の３次元空間情報を生成し、
前記３次元空間情報を参照して、前記３次元仮想空間の指定された位置に、前記認識対象物のテクスチャ画像を有するマーカ及び単色のテクスチャ画像を有する平面であるランドマークを配置、描画することを特徴とする機械学習システム。
３次元ＣＧにより、物体を３次元仮想空間に生成して描画する３次元仮想空間・生成描画手段と、
３次元ＣＧにより、前記３次元仮想空間にＡＩモデルの認識対象物に関する情報を生成して描画するＡＩ認識対象物・情報生成描画手段と、
３次元ＣＧにより、前記３次元仮想空間と前記認識対象物の少なくとも一方の設定を変更することで様々なシーンを生成して描画する３次元仮想空間・シーン生成描画手段と、
前記３次元仮想空間・シーン生成描画手段で生成された前記認識対象物を含むＣＧ画像と、前記ＡＩ認識対象物・情報生成描画手段で生成された前記認識対象物に関する情報から前記ＡＩモデルの機械学習に必要な学習用データを生成する機械学習用データ生成手段と、
前記機械学習用データ生成手段によって生成された前記学習用データを用いて、前記ＡＩモデルの学習を行うＡＩモデル機械学習手段と、
前記ＡＩモデル機械学習手段によって学習された学習済みモデルを用いて、前記ＡＩモデルによる処理を実行するＡＩ機械学習済みモデル実行手段と、を備え、
前記ＡＩ認識対象物・情報生成描画手段は、
前記３次元仮想空間における前記認識対象物の特徴点の３次元空間情報を生成する３次元空間情報生成機能と、
前記３次元空間情報を参照し、前記３次元仮想空間の指定された位置に前記認識対象物の３次元空間情報を配置、描画する３次元空間情報配置描画機能と、
前記３次元空間情報配置描画機能によって描画された前記認識対象物の２次元画像上の位置情報を生成する２次元画像位置情報生成機能と、
を有し、
前記３次元仮想空間内の一領域を参照して、前記一領域の一方向の中心線を決定し、前記中心線上の前記３次元仮想空間の原点から指定距離だけ離れた前記中心線上の複数の特徴点の３次元空間情報を生成し、
前記３次元空間情報を参照して、前記３次元仮想空間の指定された位置に単色のテクスチャ画像を有する平面であるランドマークを配置、描画することを特徴とする機械学習システム。
前記２次元画像位置情報生成機能は、
前記３次元仮想空間の指定された位置に前記ランドマークを配置して前記ランドマークを第１色で描画し、前記ランドマーク以外の部分を前記第１色とは異なる第２色で描画するランドマーク・背景単色描画機能と、
前記ランドマーク・背景単色描画機能によって描画された画像から、画像処理により前記第１色で描画された領域を抽出する指定色領域抽出機能と、
前記指定色領域抽出機能によって抽出された領域の輪郭と重心座標を取得する指定色領域重心座標取得機能と、で構成される、請求項１又は２に記載の機械学習システム。
前記ＡＩ機械学習済みモデル実行手段は、
前記マーカを認識することにより前記特徴点の２次元画像上の位置を推定し、前記特徴点同士を結んで前記２次元画像上の境界線を形成する、請求項１に記載の機械学習システム。
前記ＡＩ機械学習済みモデル実行手段は、
前記３次元仮想空間内の一領域を認識し、前記一領域内において前記原点から指定距離だけ離れた前記複数の特徴点の２次元画像上の位置を推定する、請求項２に記載の機械学習システム。
前記ＡＩ機械学習済みモデル実行手段は、
前記複数の特徴点から構成される補完曲線を生成し、前記補完曲線から前記一領域内における前記特徴点の間の距離を推定する、請求項５に記載の機械学習システム。
前記ＡＩ認識対象物・情報生成描画手段は、
前記３次元仮想空間内の一領域を参照して、前記一領域の一方向の中心線を決定し、前記中心線上の前記３次元仮想空間の原点から指定距離だけ離れた前記中心線上の複数の第１特徴点と、前記原点から最も近い前記第１特徴点に対して前記中心線と直交する方向に配置された複数の第２特徴点と、前記原点から最も遠い前記第１特徴点に対して前記中心線と直交する方向に配置された複数の第３特徴点との３次元空間情報を生成し、
前記３次元空間情報を参照して、前記３次元仮想空間の指定された位置に単色のテクスチャ画像を有する平面であるランドマークを配置、描画する、請求項２に記載の機械学習システム。
前記ＡＩ認識対象物・情報生成描画手段は、前記原点から最も遠い前記第１特徴点と前記第３特徴点とを囲む領域を切り取って拡大した拡大画像を生成し、
前記ＡＩ機械学習済みモデル実行手段は、前記拡大画像を用いて前記ＡＩモデルによる処理を実行する、請求項７に記載の機械学習システム。