JP7298063B1 - 機械学習認識システム - Google Patents

Abstract

【課題】走行レーンに合わせて警戒エリアを変更しながら、移動体の動きを認識することができる機械学習認識システムを提供する。【解決手段】機械学習認識システム１は、自車両Ｖ１のＧＰＳ装置から位置座標を取得する位置座標取得部１１と自車両Ｖ１の走行軌跡を生成する走行軌跡生成部１２とを有するＧＰＳ位置情報生成部１０と、３次元ＣＧにより仮想の走行レーンＬ１を生成する走行レーン生成部２１と走行レーンＬ１の形状を走行軌跡に基づいて走行レーンＬ２に変更する走行レーン形状変更部２２と走行レーンＬ２を表示する走行レーン表示部２３と走行レーンＬ２の領域Ｌ２’を抽出する走行レーン領域抽出部２４とを有する３次元ＣＧ・情報生成部２０と、自車両Ｖ１の実カメラＣからその後方の実映像Ｍを取得する実映像取得部３０と、実映像Ｍ中の他車両Ｖ２を認識するＡＩ移動体認識部４０と、領域Ｌ２’の一部を警戒エリアＸと定めて他車両Ｖ２の警戒エリアＸへの進入を検知する警戒エリア進入検知部５０を備えている。【選択図】図１

Description

従来、距離センサ等を用いて道路を走行する車両の接近、離反を認識することができる認識装置が知られている。具体的には、カメラやライダー装置を利用して、実空間上で機械学習に用いるデータの収集を行い、学習済みＡＩモデルを用いて車両の接近、離反を認識する。

一方、仮想空間上で車両の位置や道路の形状、背景等を変更して多種の機械学習用のデータを作成する技術も知られている。作成したデータは、教師用データとしてＡＩモデルに与える。

例えば、特許文献１の機械学習システムは、３次元仮想空間・生成描画手段と、ＡＩ認識対象物・情報生成描画手段と、３次元仮想空間・シーン生成描画手段と、機械学習用データ生成手段と、ＡＩモデル機械学習手段と、機械学習済みモデル実行手段を備えている。

ＡＩ認識対象物・情報生成描画手段は、ＡＩ認識対象物の特徴点の３次元空間情報（位置、距離等）を生成する。さらに、３次元仮想空間の道路を参照し、複数の座標を生成する。

次に、ＡＩ認識対象物・情報生成描画手段は、ＡＩ認識対象物の特徴点の２次元画像上の位置情報を生成し、当該道路上の特徴点の座標として複数の座標を生成する。これらの操作により、機械学習システムは、道路の中心線を基準とした５つの仮想走行レーンＣ０（自車レーン），Ｒ１（右レーン１），Ｒ２（右レーン２），Ｌ１（左レーン１），Ｌ２（左レーン２）を設定する。

Ｄ１～Ｄ４は原点からの距離レベルを意味し、３次元仮想空間内の境界線で分割される３次元仮想グリッド（２０個のグリッド）が生成される（特許文献１／段落００５９～００６５、図１７、図１８)。

特許第７１４０９３３号

特許文献１では、グリッド生成を行うことで走行レーンのエリアが認識されるが、グリッド位置は固定であるため、走行レーンの形状に応じてエリアを変更、移動させることができないという問題があった。

本発明は、このような事情に鑑みてなされたものであり、走行レーンに合わせて警戒エリアを変更しながら、移動体の動きを認識することができる機械学習認識システムを提供することを目的とする。

上記目的を達成するため、本発明の機械学習認識システムは、移動体のＧＰＳ装置から位置座標を取得する位置座標取得部と、前記位置座標に基づいて前記移動体の走行軌跡を生成する走行軌跡生成部とを有するＧＰＳ位置情報生成部と、３次元ＣＧにより前記移動体の後方領域における仮想の走行レーンである第１走行レーンを生成する第１走行レーン生成部と、前記第１走行レーン生成部により生成された前記第１走行レーンを前記走行軌跡に基づいて形状変更することにより、第２走行レーンを作成する走行レーン形状変更部と、前記走行レーン形状変更部により作成された前記第２走行レーンを表示する走行レーン表示部と、前記第２走行レーンの領域を抽出する走行レーン領域抽出部とを有する３次元ＣＧ・情報生成部と、前記移動体に設置されたカメラから前記移動体の後方の実映像を取得する実映像取得部と、ＡＩモデルを用いて前記実映像中の他の移動体を認識するＡＩ移動体認識部と、前記実映像における前記第２走行レーンの領域に相当する領域の一部である警戒エリアに前記ＡＩ移動体認識部によって認識された前記他の移動体が進入したことを検知する警戒エリア進入検知部と、を備えていることを特徴とする。

機械学習認識システムのＧＰＳ位置情報生成部は、位置座標取得部が移動体のＧＰＳ装置から位置座標を取得し、走行軌跡生成部が前記位置座標に基づいて前記移動体の走行軌跡を生成する。そして、３次元ＣＧ情報生成部の走行レーン生成部が３次元ＣＧの走行レーン（例えば、直線型）を生成し、走行レーン形状変更部が前記走行軌跡に基づいて走行レーンを変更し、カーブや傾斜に対応させる。さらに、走行レーン表示部が前記変更された走行レーンを表示し、走行レーン領域抽出部が前記走行レーンの領域を抽出する。抽出された領域の一部は、警戒エリアとして利用される。

また、ＡＩ移動体認識部は、実映像取得部で取得された実映像中の他の移動体を、ＡＩモデルを用いて認識する。そして、警戒エリア進入検知部は、前記ＡＩ移動体認識部によって認識された前記他の移動体の前記警戒エリアへの進入を検知する。これにより、移動体の後方の警戒エリアにおいて、前記他の移動体が検知されたことを運転手等に認識させることができる。

本発明の機械学習認識システムにおいて、前記３次元ＣＧ・情報生成部は、前記走行レーンの形状に応じたNurbs曲面を生成するNurbs曲面生成部を有していることが好ましい。

この構成によれば、Nurbs曲面生成部は、所定の幅と奥行きを有する３次元ＣＧの走行レーンを走行軌跡に合わせて変形させたNurbs曲面を生成することができる。

また、本発明の機械学習認識システムにおいて、前記走行軌跡生成部は、B-Spline曲線で表現される走行軌跡を生成するB-Spline走行軌跡生成機能を有し、前記B-Spline曲線は、直線又は曲線の２つ以上のセグメントを発生させる複数の制御点からなり、前記制御点の１つが端点と一致する曲線であり、前記Nurbs曲面は、前記B-Spline曲線の原理に基づいて生成されることが好ましい。

走行軌跡のB-Spline曲線は、２つ以上のセグメント（直線又は曲線）を発生させる複数の制御点で構成される。２つ以上のセグメントを持つことで、カーブから直線、直線からカーブ等の道路を走行する移動体の滑らかな走行軌跡を表現することができる。また、制御点の１つがB-Spline曲線の端点と一致しているので、前記走行軌跡に応じた変位分だけ前記端点を容易に移動させることができる。そして、２つのセグメントが滑らかに接続されて走行軌跡の形状が再現される。この手法を用いてNurbs曲面を生成すると、３次元の走行レーンを生成することができる。

また、本発明の機械学習認識システムにおいて、前記走行レーン領域抽出部により抽出された前記走行レーンの領域から前記走行レーンの遠端座標を抽出する遠端座標抽出部を備えていることが好ましい。

遠端座標抽出部は、抽出された走行レーンの領域の形状を判断して、前記領域のうち現在位置から最も離れた遠端座標を抽出することができる。この遠端座標の情報は、機械学習用のデータに用いることができる。

また、本発明の機械学習認識システムにおいて、前記遠端座標、又は前記ＡＩ移動体認識部で認識された前記実映像中で最も遠方に存在する前記他の移動体の移動体座標から前記走行レーンに沿った前記警戒エリアを生成する警戒エリア生成部を備えていることが好ましい。

警戒エリア生成部は、抽出された遠端座標、又は実映像中で最も遠方に存在する移動体の移動体座標から走行レーンの詳細な形状を取得し、さらに前記走行レーンに沿った警戒エリアを生成することができる。

また、本発明の機械学習認識システムにおいて、前記走行レーン領域抽出部により抽出された前記走行レーンの領域から前記走行レーンの遠端部を認識できるように機械学習する道路遠端認識ＡＩモデル学習部と、前記道路遠端認識ＡＩモデル学習部で構築されたＡＩモデルを用いて、新たな実映像の前記走行レーンの遠端座標を推定する道路遠端認識ＡＩモデル実行部と、を備えていることが好ましい。

道路遠端認識ＡＩモデル学習部は、抽出された走行レーンの領域から走行レーンの遠端部を認識できるように機械学習を行う。このため、構築されたＡＩモデルは、新たに入力された実映像に対しても確実に走行レーンの遠端部を認識することができる。また、道路遠端認識ＡＩモデル実行部は、新たな実映像が入力されたとき、前記ＡＩモデルを用いて遠端座標を推定する。従って、本システムは、正確に前記遠端座標を推定することができる。

また、本発明の機械学習認識システムにおいて、前記警戒エリア進入検知部は、前記他の移動体の移動ベクトルから進行方向を推定する進行方向推定機能を有し、前記警戒エリア生成部は、道路上に配置された複数の指標から前記走行レーンの一部領域を特定警戒エリアと定め、前記進行方向推定機能は、前記他の移動体が前記特定警戒エリアに進入したか否かにより前記他の移動体の進行方向を推定することが好ましい。

進行方向推定機能は、他の移動体の移動ベクトルを取得し、進行方向を推定する。これにより、本システムは、前記他の移動体が所定エリアに向かって進行しているか否かを判断することができる。

警戒エリア進入検知部は、道路上に配置された複数の指標（道路上のパイロン等）から走行レーン上の特定警戒エリアを定めるので、指標の配置によって様々な形状の特定警戒エリアを生成することができる。また、進行方向推定機能は、他の移動体が特定警戒エリアに進入したか否かにより、その進行方向を推定するので、移動ベクトルを取得する等の処理を省略することができる。

また、本発明の機械学習認識システムにおいて、前記警戒エリア進入検知部は、前記他の移動体の進行方向が所定の条件を満たすと推定されたとき警報を行う警報実行機能を有していることが好ましい。

警報実行機能は、他の移動体の進行方向が所定の条件を満たすと推定したとき、例えば、その付近で作業を行う作業員に対して警報を行う。これにより、本システムは、道路工事等の作業中の交通事故の発生を未然に防止することができる。

第１実施形態に係る機械学習認識システムの全体構成図である。 自車両の走行軌跡の生成を説明する図である。 走行軌跡のB-Spline曲線の生成を説明する図である。 B-Spline曲線の制御点とセグメントを説明する図である。 B-Spline曲線の基底関数を説明する図である。 ３次元空間の走行レーン（直線型）を示す図である。 ３次元Nurbs曲面による走行レーンを示す図である。 実カメラの注視点を説明する図である。 仮想カメラの透視変換を説明する図である。 警戒エリアに他車両が進入してきたときの様子を示す図である。 警戒エリアのダイナミック制御を説明する図である。 ＡＩ移動体認識部による車両の認識を説明する図である。 図８Ａの警戒エリアの生成を説明する図である。 警戒エリアを監視エリアと進入禁止エリアに分離する方法を説明する図である。 移動体の警戒エリア内での走行及び進路変更を説明する図である。 移動体の警戒エリア（テーパー形状）内での走行及び進路変更を説明する図である。

以下においては、本発明の好適な実施形態について説明するが、これらを適宜改変し、組合せてもよい。以下の説明及び添付図面において、実質的に同一又は等価な部分には同一の参照符号を付して説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る機械学習認識システムの全体構成を示している。

図１に示されるように、機械学習認識システム１は、ＧＰＳ位置情報生成部１０と、３次元ＣＧ・情報生成部２０と、実映像取得部３０と、ＡＩ移動体認識部４０と、警戒エリア進入検知部５０とを備えている。

［ＧＰＳ位置情報生成部１０］
ＧＰＳ位置情報生成部１０は、位置座標取得部１１と、走行軌跡生成部１２とを有している。位置座標取得部１１は、ＧＰＳ装置からその位置座標を取得する。具体的には、移動体（自車両Ｖ１）にＧＰＳ装置が備えられており、当該ＧＰＳ装置が自車両Ｖ１の位置情報（緯度、経度、高さ）を取得する。

走行軌跡生成部１２は、ＸＹ直交座標系機能とB-Spline走行軌跡生成機能とを有している。まず、ＸＹ直交座標系機能により、緯度、経度等の位置情報がＸＹ直交座標系(単位[m])の数値に変換される。

図２Ａは、自車両Ｖ１の現在位置(t=0［s］)と、現在位置からΔＴ秒前(t=-ΔＴ［s］)の自車両Ｖ１の位置と、両位置から得られるＸ方向の変位ΔＸと後方角度θとを示している。なお、自車両Ｖ１の移動をＸＹ直交座標系で示す場合、自車両Ｖ１の進行方向が－Ｙ方向、進行方向と垂直な移動方向がＸ方向であり、自車両Ｖ１の現在位置が原点座標である。

次に、B-Spline走行軌跡生成機能により、自車両Ｖ１の走行軌跡がB-Spline曲線で表現される。図２Ｂは、走行軌跡のB-Spline曲線を生成する方法を説明する図である。

詳細は後述するが、B-Spline曲線は４個の制御点（P0～P3）で最小単位、すなわち第１のセグメント（直線セグメントSeg1）が定義され、５個の制御点のうちの４個の制御点（P1～P4）をとると第２のセグメント（曲線セグメントSeg2）が定義される。

第１のセグメントの直線部分を自車両Ｖ１の進行方向であるＹ軸に合わせ、第２のセグメントの曲線形状を表現する。図２Ｂに示すように、B-Spline曲線の端点には、制御点P4が存在している。このように、当該端点と制御点とが一致していると、移動させたい変位量が決定した後、その変位分だけ当該端点を移動（オフセット）させればよい。この例では、制御点P4を変位ΔＸ分だけ＋Ｘ方向にずらすことで、自車両Ｖ１の進行方向を－Ｙ方向とした滑らかなB-Spline曲線の走行軌跡が表現される。

次に、図３Ａ、図３Ｂを参照して、B-Spline曲線の原理を具体例を示しながら説明する。B-Spline曲線は、複数の制御点によって曲線の形状が定義される。そして、制御点を増加させるとセグメントが追加され、複数のセグメントを連続的に接続して１つの曲線が形成される。

図３Ａは、５個の制御点（P0～P4）を示している。制御点P0～P3の４点から曲線セグメントSeg1が生成され、制御点P1～P4の４点から曲線セグメントSeg2が生成される。図２Ｂの例とは異なり、セグメントは、何れも曲線の場合がある。

さらに、曲線セグメントSeg1と曲線セグメントSeg2とが滑らかに接続される。より詳細には、５点の制御点に加えて、「ノットベクトル（セグメントの区切りとなるパラメータの値を定義した数値（ノット）の列）」が必要となる。

図３Ｂは、B-Spline基底関数Ｎのグラフを示している。図示するように、ノットベクトルt(t0,t1,…,t8)は、一定の間隔（一様）で存在している。例えば、ノットベクトルt3の値をみると４つの曲線グラフが存在する。これは、４個の制御点がノットベクトルt3に影響することを意味する。

ここで、B-Spline曲線R(t)は、ｎを次数、Lをセグメント数、NをB-Spline基底関数（以下、基底関数という）として、下記の（式１）で与えられる。
R(t)＝ΣNi,n（t)Pi ・・・（式１）
（i＝0→n+L-1）

必要な制御点の数は(n+L)個であり、n=3，L=2であれば、制御点は５点となる。また、必要なノットベクトルの要素数は(制御点の数n+L)+(次数n)+１であり、n=3，L=2であれば、要素数は９個となる。

このとき、９要素のノットベクトルtを次のように設定する。
ノットベクトルt＝[0,0,0,0,0.5,1,1,1,1]
なお、両端のノットを(n+1)個(今回、４個)だけ重ねることにより、両端の制御点を通る３次B-Spline曲線が生成される。

また、B-Spline曲線は、制御点Piとノットベクトルtiによって定義される曲線であり、制御点Piの混ぜ合わせることで、滑らかな曲線が生成される。混ぜ合わせの配分は基底関数Ni,nで定義され、制御点Pi毎に基底関数Ni,nが存在する（式１参照）。

また、基底関数Ni,nは、tiをノットベクトルとして、以下の（式２）で与えられる。
Ｎi,n(t)＝(t-ti/ti+n)Ｎi,n-1(t)＋(ti+n+1-t/ti+n+1-ti+1)Ｎi+1,n-1(t) ・・・（式２）
Ｎi,0＝１（ti≦t＜ti+1） ・・・（式３－１）
Ｎi,0＝０（上記以外） ・・・（式３－２）

基底関数Ｎi,nはノットベクトルtiが存在する範囲で有効となるため（図３Ｂ参照）、B-Spline曲線は局所性を有するといえる。制御点Piを増加させることで最小単位のセグメント（直線又は曲線）が増加し、これらを連結することで複雑なB-Spline曲線が生成される。

［３次元ＣＧ・情報生成部２０］
３次元ＣＧ・情報生成部２０は、走行レーン生成部２１と、走行レーン形状変更部２２と、走行レーン表示部２３と、走行レーン領域抽出部２４と、Nurbs曲面生成部２５とを有している。

走行レーン生成部２１は、３次元ＣＧの走行レーンを生成する。このとき、走行レーン形状変更部２２は、走行軌跡生成部１２で生成された自車両Ｖ１の走行軌跡を利用する。

具体的には、図４Ａに示されるように、３次元空間において自車両Ｖ１の位置を原点（P10）とし、奥行方向を＋Ｙ方向、幅方向を±Ｘ方向とした直線型の走行レーンＬ１を生成する。なお、原点から最も遠い制御点P04,P14,P24の距離を300[m]とする。

その後、図４Ｂに示されるように、上述のＸ方向の変位ΔＸから直線型の走行レーンＬ１をＸ軸方向にオフセットさせる。今回、変位ΔＸを50[m]（＋Ｘ方向）とする。このような処理により、走行レーン形状変更部２２は、カーブした道路、勾配を有する道路に対して３次元ＣＧの走行レーンＬ２を生成することができる。

走行レーン表示部２３は、３次元空間の仮想カメラが透視変換を行った映像から走行レーンを描画する。当該仮想カメラは、自車両Ｖ１に搭載された実カメラＣを同じ設定（画角、設置位置、注視点）にされているため、実際と同じ視点で映像を生成する。実カメラＣは、例えば図５Ａに示されるように、自車両Ｖ１のルーフの高さ（地上から約1.5[m]の座標Pa）に取り付けられ、約100[m]後方の道路（座標Pb）を注視点とする。

走行レーン領域抽出部２４は、図５Ｂに示されるような走行レーンＬ２の領域Ｌ２’を抽出する。領域Ｌ２’は図示形状となり、上方の突出部分が現在位置から最も離れた遠端部(座標P(w,h)）である。詳細は後述するが、抽出した領域Ｌ２’の一部を所定の色彩で着色させることで、警戒エリアＸとして利用することができる。

［実映像取得部３０］
実映像取得部３０は、自車両Ｖ１に設置された実カメラＣから、その後方道路の実映像Ｍを取得する。実カメラＣは、例えば自車両Ｖ１のルーフに取り付けられている。

［ＡＩ移動体認識部４０］
ＡＩ移動体認識部４０は、実映像取得部３０により取得された実映像Ｍから、自車両Ｖ１の後方を走行する移動体（他車両Ｖ２）を認識する。移動体を認識可能なＡＩモデル（例えば、Intel社の“Open VINO(登録商標)”）を実行することにより、映像データを解析して移動体とその位置が認識される。

［警戒エリア進入検知部５０］
警戒エリア進入検知部５０は、走行レーン領域抽出部２４が抽出した走行レーンＬ２(領域Ｌ２’)の一部を警戒エリアＸと定め、他車両Ｖ２の警戒エリアＸへの進入を監視する。図６は、実際に、警戒エリアＸに他車両Ｖ２が進入してきたときの様子を示している。

このように、警戒エリア進入検知部５０は、自車両Ｖ１の走行中に、後方の警戒エリアＸに進入した他車両Ｖ２を検知したとき、音声やランプ等でその旨を報知することができる。報知対象が自車両Ｖ１の運転手である場合、当該運転手は、後方から他車両Ｖ２がどの程度接近しているか等の情報を取得することができる。一方、報知対象が警戒エリアＸの手前側で道路工事、事故処理等を行う作業員である場合、当該作業員に避難を促すことができる。

［第２実施形態］
第２実施形態では、機械学習認識システム１における機械学習用データの作成と、ＡＩモデルの実行について説明する。

図１に示されるように、機械学習認識システム１は、さらに道路遠端認識ＡＩモデル学習部６０と、遠端座標抽出部７０と、道路遠端認識ＡＩモデル実行部８０と、道路遠端推定警戒エリア生成部９０とを備えている。

［道路遠端認識ＡＩモデル学習部６０］
道路遠端認識ＡＩモデル学習部６０は、走行レーンの抽出領域（領域Ｌ２’）から走行レーンの遠端を認識するように機械学習を行う。

道路遠端認識ＡＩモデル学習部６０は、実映像Ｍと、走行レーンの遠端座標Ｐとを組合せて用いて機械学習を行い、ＡＩモデルを生成する。実映像Ｍは機械学習用データとして、遠端座標Ｐは教師用データ（正解データ）として用いられる。

［遠端座標抽出部７０］
遠端座標抽出部７０は、走行レーンの抽出領域（領域Ｌ２’）からその遠端座標P（w,h）を取得する。具体的には、走行レーン領域抽出部２４が領域Ｌ２’を含む所定の領域Ｒ（図５Ｂ参照）を上方から走査していき、最初に領域Ｌ２’に当たった部分の座標情報を取得する。

このような処理により、例えば学習用の実映像Ｍ１と教師用の道路の遠端座標P1(w1,h1)とが取得される。さらに、実映像Ｍ２と遠端座標P2(w2,h2)、実映像Ｍ３と遠端座標P3(w3,h3)が取得される。３次元ＣＧにより作成した画像データよりもリアルな実映像Ｍ１～Ｍｎ(ｎ：自然数)と、遠端座標P1～Pn(ｎ：自然数)との組合せを多数用意し、道路遠端認識ＡＩモデル学習部６０に走行レーンの遠端部を認識するように機械学習をさせるため、高性能のＡＩモデルを構築することができる。

なお、機械学習用データの生成とＡＩモデルによる機械学習の手法の詳細については、特許第７１４０９３３号（段落００３６～００４１）に記載されているため、参照されたい。

［道路遠端認識ＡＩモデル実行部８０］
道路遠端認識ＡＩモデル実行部８０は、構築された学習済みのＡＩモデルを実行する。これにより、機械学習認識システム１に新たな実映像Ｎが入力されたとき、その走行レーンの遠端座標を推定することができる。

［道路遠端推定警戒エリア生成部９０］
道路遠端推定警戒エリア生成部９０（本発明の「警戒エリア生成部」に相当）は、新たな実映像Ｎに対して遠端座標Ｐを推定し、警戒エリアＹを生成する。新たな警戒エリアＹの情報は、警戒エリア進入検知部５０に送信される。

警戒エリア進入検知部５０は、自動的に警戒エリアＸから新たな警戒エリアＹに切り替えて、警戒エリアＹに他車両Ｖ２等が進入したか否かを監視する。図７は、警戒エリアのダイナミック制御の例を示しており、警戒エリアＸから警戒エリアＹ、警戒エリアＹの後は警戒エリアＺに切り替わる。このように、機械学習認識システム１は、自車両Ｖ１の走行中、常に後方の警戒エリアに進入する移動体を監視し、検知したときは音声やランプ等でその旨を報知する。

ＡＩ移動体認識部４０は、実映像Ｍから後方の移動体を認識し、当該移動体の動きを連続的にトレースする。また、道路遠端推定警戒エリア生成部９０は、移動体のトレース情報から最遠方の移動体の位置を道路遠端と認識する。さらに、道路遠端推定警戒エリア生成部９０は、ＡＩ移動体認識部４０から移動体座標Q(w,h)を受信することにより、当該移動体の２次元画像上の位置を利用して警戒エリアを生成するようにしてもよい（図１参照）。

図８Ａは、ＡＩ移動体認識部４０が自車両Ｖ１の後方を走行する他車両Ｖ３を認識したときの様子を示している。ＡＩ移動体認識部４０が他車両Ｖ３の動きを連続的にトレースすることで、移動体トレース曲線Ｕが取得される。ここでは、移動体トレース曲線Ｕが存在する走行レーンが通過レーンＬ３、指示標識が配置された隣接する走行レーンが規制レーンＬ４である。そして、道路遠端推定警戒エリア生成部９０は、規制レーンＬ４を警戒エリアＸと定める。

図８Ｂは、この方式における警戒エリアＸの生成を説明する図である。ＡＩ移動体認識部４０は、他車両Ｖ３の動きをトレースすることで走行レーンの形状を推定する。

警戒エリアＸの奥行方向に延びる線は、走行レーンに沿った曲線（破線）で表現する。これらの曲線は、B-Spline曲線を利用して生成してもよい。また、道路遠端推定警戒エリア生成部９０は、最遠方の他車両Ｖ３の位置を参照して、警戒エリアＸを道路遠端の方向（図中の矢印α）にシフトすることができる。

道路遠端推定警戒エリア生成部９０で生成された警戒エリアＸの情報は、警戒エリア進入検知部５０に送信される。警戒エリア進入検知部５０は、警戒エリアＸをさらに細分化することができ、移動体の進入検知に利用することができる。

［第３実施形態］
第３実施形態では、機械学習認識システム１による警戒エリアＸに進入する移動体の検知と危険度に応じた注意喚起について説明する。

走行レーン領域抽出部２４は、走行レーンＬ２の領域Ｌ２’を抽出して、その一部を警戒エリアＸとする。また、警戒エリア進入検知部５０は、この警戒エリアＸを、移動体の進行方向を監視する監視エリアＸ１と移動体の進入を禁止する進入禁止エリアＸ２に分離する。なお、進入禁止エリアＸ２の手前側では、道路工事の作業員が作業をしているものとする。

図９は、警戒エリアＸを監視エリアＸ１と進入禁止エリアＸ２に分離する方法を説明するための図である。

エリア分離の第１の方法は、道路上に実際に配置されているパイロンを認識させて境界を定める方法である。図示するように、複数のパイロンが道路上に設置されている場合、ＡＩモデルに各パイロンの位置を認識させ、それらの位置から直線状の境界線Ｂを生成する。なお、パイロンを認識させるＡＩモデルの詳細については、特許第７１４０９３３号（段落００４２～００４４）に記載されているため、参照されたい。

エリア分離の第２の方法は、複数のパイロンを設置する作業員を実カメラＣで監視する方法である。具体的には、ＡＩモデルに作業員が歩いた移動軌跡Ｗから境界線Ｂを推定させる。移動軌跡Ｗは通常、図示するような波線を描くが、例えば波線の頂点を結んだ直線を境界線Ｂとする。これらの方法により、道路奥側の監視エリアＸ１と、道路手前側の進入禁止エリアＸ２が定義される。

警戒エリア進入検知部５０は、他車両Ｖ２の警戒エリアＸ内での移動ベクトルから、その進行方向を推定する進行方向推定機能を有している。進行方向推定機能は、監視エリアＸに進入した他車両Ｖ２について、実映像Ｍ上の位置をトラッキングして移動ベクトルを取得する。

図１０は、他車両Ｖ２の警戒エリアＸ（監視エリアＸ１及び進入禁止エリアＸ２）内での走行及び進路変更を説明する図である。

他車両Ｖ２が道路上の地点（ａ）から地点（ｂ）に移動することにより、移動ベクトルＶ_ａｂが得られる。警戒エリア進入検知部５０の進行方向推定機能は、移動ベクトルＶ_ａｂから他車両Ｖ２の進行方向を推定し、他車両Ｖ２が監視エリアＸ１に接近しているか否か、又は監視エリアＸ１に進入したか否かを判断する。

他車両Ｖ２が前方の道路規制に気が付いて車線変更する場合、他車両Ｖ２が道路上の地点（ｂ）から地点（ｃ）に移動する。このような進路変更を行い、移動ベクトルＶ_ｂｃが得られる。進行方向推定機能は、移動ベクトルＶ_ｂｃから他車両Ｖ２が進入禁止エリアＸ２を避けて通行すると推定する。

一方で、他車両Ｖ２に進路変更の意思がない場合、他車両Ｖ２は道路上の地点（ｂ）から地点（ｄ）に移動する。このような進行により、移動ベクトルＶ_ｂｄが得られる。進行方向推定機能は、移動ベクトルＶ_ｂｄから他車両Ｖ２が進入禁止エリアＸ２に向かって接近してくると推定する。

警戒エリア進入検知部５０は、他車両Ｖ２の進行方向が所定の条件を満たすと推定されたとき、警報を行う警報実行機能を有している。所定の条件とは、例えば他車両Ｖ２が進路変更せずにそのまま進行すると、事故等につながるエリア（進入禁止エリアＸ２）に向かっていると推定されるときである。

所定の条件を満たす場合、他車両Ｖ２が道路工事を行っている現場に突入するおそれがあるため、警報実行機能は、道路工事の作業員Ｍに対して音声等による注意喚起を行う。

その後も他車両Ｖ２に進路変更の意思がない場合、他車両Ｖ２は道路上の地点（ｄ）から地点（ｅ）に移動するため、移動ベクトルＶ_ｄeが得られる。そして、他車両Ｖ２は、実際に進入禁止エリアＸ２に進入してくる。このとき、警報実行機能が作業員Ｍに対して避難警報を発するようにしてもよい。これにより、機械学習認識システム１は、道路工事等の作業中の交通事故の発生を未然に防止することができる。

図１１に示すように、テーパー形状の警戒エリアＸ’（本発明の「特定警戒エリア」）を定めてもよい。

警戒エリア進入検知部５０は、走行レーン領域抽出部２４が抽出した走行レーンから警戒エリアＸ’を定め、他車両Ｖ２の警戒エリアＸ’への進入を監視する。警戒エリアＸ’は、監視エリアＸ３と進入禁止エリアＸ４とからなる。

まず、図示するように、複数のパイロン（本発明の「指標」の一態様）を道路上の奥行方向に対して斜めに設置する。そして、ＡＩモデルに道路上に実際に配置された複数のパイロンを認識させ、監視エリアＸ３を定める。

進入禁止エリアＸ４は、道路上の監視エリアＸ３の手前部分に定める。監視エリアＸ３と進入禁止エリアＸ４とは、最も手前側のパイロンの位置をＡＩモデルに認識させ、その位置から直線状の境界線Ｂを生成し、分離すればよい。なお、警戒エリアＸ’のようなテーパー形状の場合、必ずしも監視エリアＸ３と進入禁止エリアＸ４に分離する必要はない。

このとき、警戒エリア進入検知部５０の進行方向推定機能は、他車両Ｖ２が警戒エリアＸ’に進入したか否かにより他車両Ｖ２の進行方向を推定する。進路変更の意思があれば、他車両Ｖ２はパイロン同士を結んだ線に沿って進行していくため、その先の領域である進入禁止エリアＸ４に進入することはない。

一方で、他車両Ｖ２に進路変更の意思がなければ、他車両Ｖ２はパイロンに徐々に接近していき、進入禁止エリアＸ４に進入することになる。テーパー形状の警戒エリアＸ’の場合、進行方向推定機能は、特に移動ベクトルを取得することなく他車両Ｖ２の進行方向を推定可能であるので、一部の処理を省略することができる。

他車両Ｖ２が警戒エリアＸ’に進入したとき、警戒エリア進入検知部５０がそれを検知する。そして、警報実行機能が道路工事の作業員Ｍに対して音声等による注意喚起を行う。このような態様によっても、機械学習認識システム１は、道路工事等の作業中の交通事故の発生を未然に防止することができる。

本発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。

１ 機械学習認識システム
１０ ＧＰＳ位置情報生成部
１１ 位置座標取得部
１２ 走行軌跡生成部
２０ ３次元ＣＧ・情報生成部
２１ 走行レーン生成部
２２ 走行レーン形状変更部
２３ 走行レーン表示部
２４ 走行レーン領域抽出部
２５ Nurbs曲面生成部
３０ 実映像取得部
４０ 移動体認識部
５０ 警戒エリア進入検知部
６０ 道路遠端認識ＡＩモデル学習部
７０ 遠端座標抽出部
８０ 道路遠端認識ＡＩモデル実行部
９０ 道路遠端推定警戒エリア生成部

Claims (8)

1. 移動体のＧＰＳ装置から位置座標を取得する位置座標取得部と、前記位置座標に基づいて前記移動体の走行軌跡を生成する走行軌跡生成部とを有するＧＰＳ位置情報生成部と、 ３次元ＣＧにより前記移動体の後方領域における仮想の走行レーンである第１走行レーンを生成する第１走行レーン生成部と、前記第１走行レーン生成部により生成された前記第１走行レーンを前記走行軌跡に基づいて形状変更することにより、第２走行レーンを作成する走行レーン形状変更部と、前記走行レーン形状変更部により作成された前記第２走行レーンを表示する走行レーン表示部と、前記第２走行レーンの領域を抽出する走行レーン領域抽出部とを有する３次元ＣＧ・情報生成部と、
   前記移動体に設置されたカメラから前記移動体の後方の実映像を取得する実映像取得部と、
   ＡＩモデルを用いて前記実映像中の他の移動体を認識するＡＩ移動体認識部と、
   前記実映像における前記第２走行レーンの領域に相当する領域の一部である警戒エリアに前記ＡＩ移動体認識部によって認識された前記他の移動体が進入したことを検知する警戒エリア進入検知部と、
   を備えていることを特徴とする機械学習認識システム。
2. 前記３次元ＣＧ・情報生成部は、前記走行レーンの形状に応じたNurbs曲面を生成するNurbs曲面生成部を有している、請求項１に記載の機械学習認識システム。
3. 前記走行軌跡生成部は、B-Spline曲線で表現される走行軌跡を生成するB-Spline走行軌跡生成機能を有し、
   前記B-Spline曲線は、直線又は曲線の２つ以上のセグメントを発生させる複数の制御点からなり、前記制御点の１つが端点と一致する曲線であり、
   前記Nurbs曲面は、前記B-Spline曲線の原理に基づいて生成される、請求項２に記載の機械学習認識システム。
4. 前記走行レーン領域抽出部により抽出された前記走行レーンの領域から前記走行レーンの遠端座標を抽出する遠端座標抽出部を備えている、請求項１に記載の機械学習認識システム。
5. 前記遠端座標、又は前記ＡＩ移動体認識部で認識された前記実映像中で最も遠方に存在する前記他の移動体の移動体座標から前記走行レーンに沿った前記警戒エリアを生成する警戒エリア生成部を備えている、請求項４に記載の機械学習認識システム。
6. 前記走行レーン領域抽出部により抽出された前記走行レーンの領域から前記走行レーンの遠端部を認識できるように機械学習する道路遠端認識ＡＩモデル学習部と、
   前記道路遠端認識ＡＩモデル学習部で構築されたＡＩモデルを用いて、新たな実映像の前記走行レーンの遠端座標を推定する道路遠端認識ＡＩモデル実行部と、を備えている、請求項１に記載の機械学習認識システム。
7. 前記警戒エリア進入検知部は、前記他の移動体の移動ベクトルから進行方向を推定する進行方向推定機能を有し、
   前記警戒エリア生成部は、道路上に配置された複数の指標から前記走行レーンの一部領域を特定警戒エリアと定め、
   前記進行方向推定機能は、前記他の移動体が前記特定警戒エリアに進入したか否かにより前記他の移動体の進行方向を推定する、請求項５に記載の機械学習認識システム。
8. 前記警戒エリア進入検知部は、前記他の移動体の進行方向が所定の条件を満たすと推定されたとき警報を行う警報実行機能を有している、請求項１に記載の機械学習認識システム。

Images