JP6916552B2 - 走行途中に発生する走行シナリオを検出して、運転者の走行習慣を評価するための情報の提供する方法及び装置 - Google Patents

Description

本発明は、自律走行車両に利用するための方法及び装置に関し；より詳しくは、走行途中に発生する走行シナリオを検出して、運転者の走行習慣を評価するための情報の提供方法及び装置に関する。

自動車はその質量が大きい上にその速度も速いため、運動エネルギーが大きく、安全に走行されることが非常に重要だ。しかし、ほとんどの運転者は、自分の都合だけのために危険に運転しているのが現実だ。また、運転者は、自分自身の走行習慣が危険であるか、もしくは違法であるかどうかを判断する基準がなく、自分自身の走行習慣を直すことも難しい。

本発明は、前述した問題点を解決することを目的とする。

また、本発明は、走行中に発生する走行シナリオを検出する方法を提供することを他の目的とする。

なお、本発明は、前記検出された走行シナリオを用いて運転者の走行習慣を評価する方法を提供することを、また他の目的とする。

また、本発明は、前記走行習慣を評価する方法を提供することにより、前記運転者が走行習慣を分析し、これを改善させることをまた他の目的とする。

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。

本発明の一態様によれば、走行中に発生する走行イベントを検出することにより、前記走行イベントのうちの少なくとも一部を含む走行シナリオを検出するための学習方法において、（ａ）学習装置が、特定走行イベントそれぞれについての各情報を特定の順序で特定成分として含む少なくとも一つの特定列挙（ｅｎｕｍｅｒａｔｅｄ）イベントベクトルが取得されると、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をもって、前記特定列挙イベントベクトルの前記特定成分に前記特定の順序で少なくとも一つのＲＮＮ演算を適用することにより、前記特定走行イベントのうちの少なくとも一部を含む少なくとも一つの特定予測走行シナリオを検出するようにする段階；及び（ｂ）前記学習装置が、ロスモジュールをもって、前記特定予測走行シナリオ及び取得済み特定ＧＴ（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）走行シナリオを参照してＲＮＮロスを生成するようにし、前記ＲＮＮロスを用いて時系列バックプロパゲーション（ＢＰＴＴ；Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ Ｔｈｒｏｕｇｈ Ｔｉｍｅ）を遂行するようにすることにより、前記ＲＮＮのパラメータのうち少なくとも一部を学習する段階；を含むことを特徴とする方法が提供される。

一例として、前記（ａ）段階以前に、（ａ０）（ｉ）走行シナリオ生成装置が、前記特定走行イベントを含むそれぞれの走行イベントに対応するそれぞれのグラフィック物体をディスプレイ装置によって提供するプロセス、（ｉｉ）前記特定走行イベントに対応する特定グラフィック物体がユーザによって前記特定の順序で選択されると、前記走行シナリオ生成装置が、前記選択された特定走行イベントそれぞれについての各情報を前記特定の順序で利用して前記特定列挙イベントベクトルを生成するプロセス、（ｉｉ）前記走行シナリオ生成装置が、前記特定の順序で前記特定走行イベントに対応する前記特定ＧＴ走行シナリオを生成するプロセス、及び（ｉｖ）前記走行シナリオ生成装置が、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを前記学習装置に伝達するプロセスを遂行することにより、前記走行シナリオ生成装置と連動する前記学習装置が、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを取得する段階；をさらに含む。

一例として、前記走行シナリオ生成装置は、前記特定走行イベントが前記走行イベントの中から選択されると、前記特定走行イベントのうちの少なくとも一つに少なくとも一つの変調演算を適用し、前記変調演算が適用された状態の前記特定走行イベントを利用して少なくとも一つの変調特定列挙イベントベクトル及び少なくとも一つの変調特定ＧＴ走行シナリオをさらに生成する。

一例として、前記（ａ）段階以前に、（ａ１）（ｉ）走行シナリオ生成装置が、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）をもって、少なくとも一つのＧＡＮ演算を遂行するようにして、（ｉ−１）前記走行イベントの中から前記特定走行イベントを前記特定の順序で選択し、（ｉ−２）前記特定走行イベントに対する各情報を前記特定の順序で利用して、前記特定列挙イベントベクトルを生成し、（ｉ−３）前記特定の順序で前記特定走行イベントに対応する前記特定ＧＴ走行シナリオを生成するプロセス、及び（ｉｉ）前記走行シナリオ生成装置が、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを前記学習装置に伝達するプロセスを遂行することにより、前記走行シナリオ生成装置と連動する前記学習装置が、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを取得する段階；をさらに含む。

一例として、前記走行シナリオ生成装置が、前記ＧＡＮに含まれている事前学習済み生成ネットワークをもって、前記ＧＡＮ演算の少なくとも一部である少なくとも一つの生成演算を遂行するようにすることにより、前記特定走行イベントを前記特定の順序で選択して前記特定列挙イベントベクトルを生成する。

一例として、前記ＧＡＮは、（ｉ）前記生成ネットワークをもって、それぞれの学習用第１順序の学習用第１走行イベントの第１グループそれぞれに対応する学習用第１列挙イベントベクトルそれぞれを生成するようにし、（ｉｉ）判別ネットワークをもって、前記学習用第１列挙イベントベクトルと、管理者によって生成された学習用第２列挙イベントベクトルとのうちの少なくとも一つである、前記判別ネットワークに入力された少なくとも一つのイベントベクトルが前記管理者によって生成されたものか、それとも前記生成ネットワークによって生成されたものかに対する確率を示す予測識別点数を生成するようにし、（ｉｉｉ）前記予測識別点数及びＧＴ識別点数を参照してＧＡＮロスを生成し、（ｉｖ）前記ＧＡＮロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することにより、前記判別ネットワーク及び前記生成ネットワークに含まれているパラメータのうちの少なくとも一部を学習した状態である。

一例として、前記（ａ）段階以前に、（ａ３）前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオが予め設定された検証規則を満たす場合、走行シナリオ生成装置と連動する前記学習装置が、前記走行シナリオ生成装置によって前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを取得する段階；をさらに含む。

一例として、過去の特定時間範囲の間に、予め設定された回数だけ運転者によって違反された一つ以上の特定道路規則に対応する前記検証規則は、前記管理者によって前記走行シナリオ生成装置に入力され、前記走行シナリオ生成装置は、前記検証規則を参照して、前記特定道路規則を遵守または違反する一つ以上の状況が前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオに反映されている場合、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオが前記検証規則を満たすことにより決定する。

一例として、前記学習装置が、前記ＲＮＮをもって（ｉ）ＬＳＴＭ（Ｌｏｎｇ−Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）手法と（ｉｉ）ＧＲＵ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）手法との中から選択された手法を利用して前記ＲＮＮ演算を遂行するようにする。

本発明のまた他の態様によれば、走行中に発生する走行シナリオを検出することにより対象運転者の走行習慣を評価するテスティング方法において、（ａ）（１）学習装置が、学習用特定走行イベントそれぞれについての各情報を学習用特定の順序で学習用特定成分として含む少なくとも一つの学習用特定列挙イベントベクトルが取得されると、ＲＮＮをもって、前記学習用特定列挙イベントベクトルの前記学習用特定成分に前記学習用特定の順序で少なくとも一つのＲＮＮ演算を適用することにより、前記学習用特定走行イベントのうちの少なくとも一部を含む少なくとも一つの学習用特定予測走行シナリオを検出するようにし、（２）前記学習装置が、ロスモジュールをもって、前記学習用特定予測走行シナリオ及び取得済み特定ＧＴ走行シナリオを参照してＲＮＮロスを生成するようにし、前記ＲＮＮロスを利用して時系列バックプロパゲーション（ＢＰＴＴ）を遂行するようにすることで、前記ＲＮＮのパラメータのうちの少なくとも一部を学習した状態で、対象車両と連動するテスティング装置が、一つ以上のテスト用走行イベントが検出されると、前記ＲＮＮをもって、前記テスト用走行イベントそれぞれに対する各情報に前記ＲＮＮ演算を順番に適用することにより、前記テスト用走行イベントのうちの少なくとも一部を含む一つ以上のテスト用予測走行シナリオを検出するようにする段階；及び（ｂ）前記テスティング装置が、評価モジュールをもって、前記テスト用予測走行シナリオを参照して前記対象車両の前記対象運転者の前記走行習慣を評価するために利用される評価情報を生成するようにする段階；を含むことを特徴とするテスティング方法が提供される。

一例として、前記（ａ）段階で、前記テスティング装置がイベント検出モジュールをもって、前記対象車両に搭載された（ｉ）電子制御ユニット（ＥＣＵ）と（ｉｉ）外部環境モニタリングユニットとのうちの少なくとも一つと連動して、走行中に前記対象車両の内部及び外部で起こる前記テスト用走行イベントを検出するようにする。

一例として、前記テスティング装置が前記イベント検出モジュールをもって、前記ＥＣＵと連動して、方向情報と、速度情報と、方向指示器情報と、非常点滅表示灯情報とのうちの少なくとも一部を含む内部動作情報の中の少なくとも一部を取得することにより、前記テスト用走行イベントのうちの少なくとも一部を検出するようにする。

一例として、前記テスティング装置が前記イベント検出モジュールをもって、前記外部環境モニタリングユニットの、外部カメラとＶ２Ｘ（ｖｅｈｉｃｌｅ−ｔｏ−ｅｖｅｒｔｙｉｎｇ）通信モジュールとの中の少なくとも一つと連動して、前記対象車両から第１閾値距離以下に位置した信号機の表示情報と、前記対象車両から第２閾値距離以下に位置した周辺車両の周辺運動情報と、前記対象車両が位置した車道に対する車道情報とのうちの少なくとも一部を含む外部環境情報のうちの少なくとも一部を取得することにより、前記特定走行イベントのうちの少なくとも一部を検出する。

一例として、前記（ｂ）段階で、前記テスティング装置が、前記評価モジュールをもって、前記テスト用予測走行シナリオを参照して取得された、前記対象運転者が道路規則を違反した回数及び頻度のうちの少なくとも一つに対して統計的分析演算を遂行するようにし、前記統計的分析演算の結果を含む前記評価情報を生成するようにする。

本発明のまた他の態様によれば、走行中に発生する走行イベントを検出することにより、前記走行イベントのうちの少なくとも一部を含む走行シナリオを検出するための学習装置において、インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）特定走行イベントそれぞれについての各情報を特定の順序で特定成分として含む少なくとも一つの特定列挙イベントベクトルが取得されると、ＲＮＮをもって、前記特定列挙イベントベクトルの前記特定成分に前記特定の順序で少なくとも一つのＲＮＮ演算を適用することにより、前記特定走行イベントのうちの少なくとも一部を含む少なくとも一つの特定予測走行シナリオを検出するようにするプロセス、及び（ＩＩ）前記ロスモジュールをもって、前記特定予測走行シナリオ及び取得済み特定ＧＴ走行シナリオを参照してＲＮＮロスを生成するようにし、前記ＲＮＮロスを利用して時系列バックプロパゲーション（ＢＰＴＴ）を遂行するようにすることで、前記ＲＮＮのパラメータのうちの少なくとも一部を学習するプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする学習装置が提供される。

一例として、前記（Ｉ）プロセス以前に、前記プロセッサが、（Ｉ１）（ｉ）走行シナリオ生成装置が、前記特定走行イベントを含むそれぞれの走行イベントに対応するそれぞれのグラフィック物体をディスプレイ装置によって提供するプロセス、（ｉｉ）前記特定走行イベントに対応する特定グラフィック物体がユーザによって前記特定の順序で選択されると、前記走行シナリオ生成装置が、前記選択された特定走行イベントそれぞれについての各情報を前記特定の順序で利用して前記特定列挙イベントベクトルを生成するプロセス、（ｉｉｉ）前記走行シナリオ生成装置が、前記特定の順序で前記特定走行イベントに対応する前記特定ＧＴ走行シナリオを生成するプロセス、及び（ｉｖ）前記走行シナリオ生成装置が、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを前記学習装置に伝達するプロセスを遂行することにより、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを取得するプロセスをさらに遂行する。

一例として、前記走行シナリオ生成装置は、前記特定走行イベントが前記走行イベントの中から選択されると、前記特定走行イベントのうちの少なくとも一つに少なくとも一つの変調演算を適用し、前記変調演算が適用された状態の前記特定走行イベントを利用して少なくとも一つの変調特定列挙イベントベクトル及び少なくとも一つの変調特定ＧＴ走行シナリオをさらに生成する。

一例として、前記（Ｉ）プロセス以前に、前記プロセッサが、（Ｉ２）（ｉ）前記学習装置と連動する走行シナリオ生成装置が、ＧＡＮをもって、少なくとも一つのＧＡＮ演算を遂行するようにして、（ｉ−１）前記走行イベントの中のから記特定走行イベントを前記特定の順序で選択し、（ｉ−２）前記特定走行イベントに対する各情報を前記特定の順序で利用して、前記特定列挙イベントベクトルを生成し、（ｉ−３）前記特定の順序で前記特定走行イベントに対応する前記特定ＧＴ走行シナリオを生成するプロセス、及び（ｉｉ）前記走行シナリオ生成装置が、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを前記学習装置に伝達するプロセスを遂行することにより、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを取得するプロセスをさらに遂行する。

一例として、前記走行シナリオ生成装置が、前記ＧＡＮに含まれている事前学習済み生成ネットワークをもって、前記ＧＡＮ演算の少なくとも一部である少なくとも一つの生成演算を遂行されることにより、前記特定走行イベントを前記特定の順序で選択して前記特定列挙イベントベクトルを生成する。

一例として、前記ＧＡＮは、（ｉ）前記生成ネットワークをもって、それぞれの学習用第１順序の学習用第１走行イベントの第１グループそれぞれに対応する学習用第１列挙イベントベクトルそれぞれを生成するようにし、（ｉｉ）判別ネットワークをもって、前記学習用第１列挙イベントベクトルと、管理者によって生成された学習用第２列挙イベントベクトルとのうちの少なくとも一つである、前記判別ネットワークに入力された少なくとも一つのイベントベクトルが前記管理者によって生成されたものか、それとも前記生成ネットワークによって生成されたものかに対する確率を示す予測識別点数を生成するようにし、（ｉｉｉ）前記予測識別点数及びＧＴ識別点数を参照してＧＡＮロスを生成し、（ｉｖ）前記ＧＡＮロスを利用してバックプロパゲーションを遂行することにより、前記判別ネットワーク及び前記生成ネットワークに含まれているパラメータのうちの少なくとも一部を学習した状態である。

一例として、前記（Ｉ）プロセス以前に、前記プロセッサが、（Ｉ３）前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオが予め設定された検証規則を満たす場合、前記学習装置と連動する走行シナリオ生成装置によって前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを取得するプロセスをさらに遂行する。

一例として、過去の特定時間範囲の間に、予め設定された回数だけ運転者によって違反された一つ以上の特定道路規則に対応する前記検証規則は、前記管理者によって前記走行シナリオ生成装置に入力され、前記走行シナリオ生成装置は、前記検証規則を参照して、前記特定道路規則を遵守または違反する一つ以上の状況が前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオに反映されている場合、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオが前記検証規則を満たすことにより決定する。

一例として、前記プロセッサが、前記ＲＮＮをもって（ｉ）ＬＳＴＭ（Ｌｏｎｇ−Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）手法と（ｉｉ）ＧＲＵ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）手法との中から選択された手法を利用して前記ＲＮＮ演算を遂行するようにする。

本発明のまた他の態様によれば、走行中に発生する走行シナリオを検出することにより対象運転者の走行習慣を評価するテスティング装置において、インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）（１）学習装置が、学習用特定走行イベントそれぞれについての各情報を学習用特定の順序で学習用特定成分として含む少なくとも一つの学習用特定列挙イベントベクトルが取得されると、ＲＮＮをもって、前記学習用特定列挙イベントベクトルの前記学習用特定成分に前記学習用特定の順序で少なくとも一つのＲＮＮ演算を適用することにより、前記学習用特定走行イベントのうちの少なくとも一部を含む少なくとも一つの学習用特定予測走行シナリオを検出するようにし、（２）前記学習装置が、ロスモジュールをもって、前記学習用特定予測走行シナリオ及び取得済み特定ＧＴ走行シナリオを参照してＲＮＮロスを生成するようにし、前記ＲＮＮロスを利用して時系列バックプロパゲーションを遂行するようにすることで、前記ＲＮＮのパラメータのうちの少なくとも一部を学習した状態で、一つ以上のテスト用走行イベントが検出されると、前記ＲＮＮをもって、前記テスト用走行イベントそれぞれに対する各情報に前記ＲＮＮ演算を順番に適用することにより、前記テスト用走行イベントのうちの少なくとも一部を含む一つ以上のテスト用予測走行シナリオを検出するようにするプロセス；及び（ＩＩ）評価モジュールをもって、前記テスト用予測走行シナリオを参照して、前記テスティング装置と連動する対象車両の前記対象運転者の前記走行習慣を評価するために用いられる評価情報を生成するようにするプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするテスティング装置が提供される。

一例として、前記（Ｉ）プロセスで、前記プロセッサが、イベント検出モジュールをもって、前記対象車両に搭載された、（ｉ）電子制御ユニット（ＥＣＵ）と（ｉｉ）外部環境モニタリングユニットとのうちの少なくとも一つと連動して、走行中に前記対象車両の内部及び外部で起きる前記テスト用走行イベントを検出するようにする。

一例として、前記プロセッサが、前記イベント検出モジュールをもって、前記ＥＣＵと連動して、方向情報と、速度情報と、方向指示器情報と、非常点滅表示灯情報とのうちの少なくとも一部を含む内部動作情報の中の少なくとも一部を取得することにより、前記テスト用走行イベントのうちの少なくとも一部を検出するようにする。

一例として、前記プロセッサが、前記イベント検出モジュールをもって、前記外部環境モニタリングユニットの、外部カメラとＶ２Ｘ通信モジュールとの中の少なくとも一つと連動して、前記対象車両から第１閾値距離以下に位置した信号機の表示情報と、前記対象車両から第２閾値距離以下に位置した周辺車両の周辺運動情報と、前記対象車両が位置した車道に対する車道情報とのうちの少なくとも一部を含む外部環境情報のうちの少なくとも一部を取得することにより、前記特定走行イベントのうちの少なくとも一部を検出する。

一例として、前記（ＩＩ）プロセスで、前記プロセッサが前記評価モジュールをもって、前記テスト用予測走行シナリオを参照して取得された、前記対象運転者が道路規則を違反した回数及び頻度ののうちの少なくとも一つに対して統計的分析演算を遂行するようにし、前記統計的分析演算の結果を含む前記評価情報を生成するようにする。

本発明は、走行中に発生する走行シナリオを検出する方法を提供できる効果がある。

なお、本発明は、前記検出された走行シナリオによって運転者の走行習慣を評価する方法を提供できる効果がある。

また、本発明は、前記走行習慣を評価する方法を提供することにより、前記運転者が走行習慣を分析し、これを改善するようにできる効果がある。

本発明の前記及び他の目的及び特長は、次の添付図面とともに与えられた好ましい実施例の説明において明らかになるであろう。

本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。

本発明の一実施形態に係る、走行中に発生する走行シナリオを検出して運転者の走行習慣を評価するための情報を提供する方法を遂行するために利用される、学習装置及び走行シナリオ生成装置の構成を概略的に示した図面である。 本発明の一実施形態に係る、走行中に発生する走行シナリオを検出して運転者の走行習慣を評価するための情報を提供する方法の流れを概略的に示した図面である。 本発明の一実施形態に係る、走行中に発生する走行シナリオを検出して運転者の走行習慣を評価するための情報を提供する方法を遂行するために利用される特殊走行イベントが、ユーザによって選択され得る方法の一例を概略的に示した図面である。 本発明の一実施形態に係る、走行中に発生する走行シナリオを検出して運転者の走行習慣を評価するための情報を提供する方法を提供する方法を遂行するために利用される特定走行イベントが、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）によって選択される過程の一例を概略的に示した図面である。

後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。

本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。

図１は、本発明の一実施形態に係る、走行中に発生する走行シナリオを検出して運転者の走行習慣を評価するための情報を提供する方法を遂行するために利用される、学習装置及び走行シナリオ生成装置の構成を概略的に示した図面である。

図１を参照すれば、前記学習装置１００は、後から詳しく説明される少なくとも一つのＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）１３０及び少なくとも一つのロスモジュール１４０を含み得る。前記ＲＮＮ１３０と、前記ロスモジュール１４０との入出力及び演算過程は、それぞれ少なくとも一つの通信部１１０と、少なくとも一つのプロセッサ１２０とによって行われ得る。ただし、図１では、前記通信部１１０と、前記プロセッサ１２０との具体的な連結関係を省略した。この際、メモリ１１５は、後述されるいくつかのインストラクションを格納した状態であり得、前記プロセッサ１２０は、前記メモリ１１５に格納された前記インストラクションを実行するように設定され、前記プロセッサ１２０は、後から説明されるインストラクションを実行することで本発明のプロセスを遂行することができる。このように学習装置１００が描写されたところで、前記学習装置１００が本発明を実施するためのプロセッサ、メモリ、ミディアム（ｍｅｄｉｕｍ）、または他のコンピューティング構成要素が統合された形態である統合プロセッサを含む場合を排除するものではない。

また、これと同様の学習装置１００は、走行シナリオ生成装置２００と連動して動作することができる。前記走行シナリオ生成装置２００は、ユーザによって一つ以上の特定走行イベントが選択されるプロセスを遂行するために利用されるディスプレイ装置２１０を含み得、人工知能（ＡＩ）によって前記特定走行イベントが選択されるプロセスを遂行するために利用されるＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）２２０を含み得る。また、前記走行シナリオ生成装置２００は、前記学習装置１００と同様に、少なくとも一つの通信部、少なくとも一つのメモリ及び少なくとも一つのプロセッサを含み得るが、図１では省略された。

この際、前記走行シナリオ生成装置２００は、前記学習装置１００と分離されたコンピューティング装置で実装されるものとして図１に表示されており、本発明の前記方法に関する後の説明も、前記走行シナリオ生成装置２００と前記学習装置１００との間のこのような関係の仮定のもとで行われるであろうが、同一の単一コンピューティング装置においても実装され得る。このような実装方式の実施例は、通常の技術者が以下の説明を参照して容易に導き出すことができるであろう。したがって、このような実施例もまた、本発明の範囲に含まれることがわかる。

以下、前記学習装置１００と前記走行シナリオ生成装置２００とを利用して、前記走行途中に発生する前記走行シナリオを検出して前記運転者の前記走行習慣を評価するための情報を提供する方法を遂行し得る過程について、図２を参照に概括的に説明する。

図２を参照すれば、前記学習装置１００は、前記走行シナリオ生成装置２００によって生成された少なくとも一つの特定の列挙（ｅｎｕｍｅｒａｔｅｄ）イベントのベクトルが取得されると、前記ＲＮＮ１３０をもって、前記特定列挙イベントベクトルに一つ以上のＲＮＮ演算を加えることで少なくとも一つの特定予測走行シナリオを検出するようにすることができる（Ｓ０１）。その後、前記学習装置１００は、前記ロスモジュール１４０をもって、前記特定予測走行シナリオ及び特定ＧＴ（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）走行シナリオを参照してＲＮＮロスを生成するようにし（Ｓ０２）、これを利用して時系列バックプロパゲーション（ＢＰＴＴ；Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ Ｔｈｒｏｕｇｈ Ｔｉｍｅ）を遂行するようにすることにより、前記ＲＮＮ１３０のパラメータのうちの少なくとも一部を学習するようにすることができる（Ｓ０３）。本発明の方法についての概括的な構成は前記のように説明でき、以下にさらに具体的に説明する。

まず、前記学習装置１００による前記のようなプロセスが遂行される前に、前記特定列挙走行イベントベクトル及び前記特定ＧＴ走行シナリオが前記走行シナリオ生成装置２００から取得されるべきである。前記特定ＧＴ走行シナリオは、特定の順序で前記特定走行イベントに対応する特定識別子であり得、前記特定列挙イベントベクトルは、前記特定走行イベントそれぞれに対応する各情報を特定の順序で含む順列であり得る。この際、前記特定の走行イベントは、走行イベントの中から選択され得るが、選択過程の二つの実施例を以下に説明する。

第１実施例として、前記走行シナリオ生成装置２００は、前記ディスプレイ装置２１０によって、前記特定走行イベントを含むそれぞれの走行イベントに対応するそれぞれのグラフィック物体を提供することができる。前記グラフィック物体が前記ユーザに提供される際、前記ユーザは特定グラフィック物体を前記特定の順序で選択することができる。その後、前記走行シナリオ生成装置２００は、前記選択された特定走行イベントに対する各前記情報を前記特定の順序で利用して、前記特定列挙イベントベクトルを生成するプロセスと、前記特定の順序で前記特定走行イベントに対応する前記特定ＧＴ走行シナリオを生成するプロセスとを遂行して、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを前記学習装置１００に伝達することができる。その際、前記特定列挙イベントベクトルを生成するために、前記特定走行イベントは前記特定の順序で特定成分として前記特定列挙イベントベクトルに含まれ得る。このように特定走行イベントが選択される過程の一例を見てみるため、図３を参照する。

図３は、本発明の一実施形態に係る、前記走行中に発生する走行シナリオを検出して前記運転者の走行習慣を評価するための情報を提供する方法を遂行するために利用される特殊走行イベントが、ユーザによって選択される方法を概略的に示した図面である。

図３を参照すると、道路状況カテゴリの第１グラフィック物体と、車両状況カテゴリの第２グラフィック物体と、外部物体の状況カテゴリの第３グラフィック物体とがディスプレイ装置２１０上に提供されたことを確認することができる。前記第１グラフィック物体と、前記第２グラフィック物体と、前記第３グラフィック物体とを含むグラフィック物体の中で、前記ユーザによって前記特定の順序で特定グラフィック物体が選択され得、前記走行シナリオ生成装置２００は、前記特定グラフィック物体に対応する前記特定走行イベントに対する情報を前記特定の順序で取得され得る。

次に、このように前記特定走行イベントを選択する前記第１実施例に対する追加的な実施例について見てみる。この際、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオは、前記学習装置１００を学習させるために利用されるトレーニングデータであり、前記トレーニングデータは様々な状況を反映するほど好ましい。したがって、前記追加的な実施例は、様々な状況が反映された、少なくとも一つの変調特定列挙イベントベクトル及び少なくとも一つの変調特定ＧＴ走行シナリオを生成するために、選択された特定走行イベントを変調させる方法に関するものであり得る。

特に、前記走行シナリオ生成装置２００は、前記特定走行イベントが前記走行イベントの中から選択されると、前記特定走行イベントのうちの少なくとも一つに少なくとも一つの変調演算を適用し、前記変調演算が適用された状態の前記特定走行イベントを利用して少なくとも一つの変調特定列挙イベントベクトル及び少なくとも一つの変調特定ＧＴ走行シナリオをさらに生成し得る。

例えば、前記ユーザが（ｉ）車線変更不可を示す、左側の特定車線を検出、（ｉｉ）左側の方向指示器を点灯及び（ｉｉｉ）左側への車線変更に対応する前記特定走行イベントを選択した場合は、前記走行シナリオ生成装置２００は、前記特定走行イベントを（ｉ）右側の前記特定車線検出、（ｉｉ）右側方向指示器点灯、及び（ｉｉｉ）右側に車線変更として変調させ得、前記変調特定走行イベントに対応する、前記変調特定走行シナリオ及び前記変調特定列挙イベントベクトルを生成することができる。他の例として、前記ユーザが（ｉ）前方１０ｍに位置した停止線の検出と（ｉｉ）閾値超過の速度感知に対応する前記特定走行イベントを選択した場合なら、前記走行シナリオ生成モジュール２００は、停止線１０ｍよりもっと遠いか、もしくは近くに存在する場合に対応する、前記変造特定走行シナリオ及び前記変造特定列挙イベントベクトルを生成することができるであろう。

第２実施例として、人工知能を利用して前記特定走行イベントが選択され得る。

つまり、前記走行シナリオ生成装置２００が、前記ＧＡＮ２２０をもって、少なくとも一つのＧＡＮ演算を遂行するようにして、前記特定走行イベントを前記特定の順序で選択することにより、前記特定走行イベントに対する各前記情報を前記特定の順序で利用して前記特定列挙イベントベクトルを生成し、前記特定の順序で前記特定走行イベントに対応する前記特定ＧＴ走行シナリオを生成することができる。その際、前記特定列挙イベントベクトルを生成するために、前記特定走行イベントは前記特定の順序で特定成分として前記特定列挙イベントベクトルに含まれ得る。その後、前記走行シナリオ生成装置２００が前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを前記学習装置１００に伝達することができる。この際、前記ＧＡＮ２２０は、前記ＧＡＮ演算を実行する前に学習が完了された状態であり得る。前記ＧＡＮ２２０の構造及び学習過程についてさらに詳しく説明するために、図４を参照する。

図４は、本発明の一実施形態に係る、前記走行中に発生する前記走行シナリオを検出して前記運転者の走行習慣を評価するための情報を提供する方法を提供する方法を遂行するために利用される特定走行イベントが、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）によって選択される過程の一例を概略的に示した図面である。

図４を参照にすると、前記ＧＡＮ２２０は、生成ネットワーク２２１と判別ネットワーク２２２とを含み得る。この際、前記ＧＡＮ２２０は、前記生成ネットワーク２２１をもって、それぞれの学習用第１順序の学習用第１走行イベントの第１グループそれぞれに対応する学習用第１列挙イベントベクトルそれぞれを生成するようにすることができる。その後、前記ＧＡＮ２２０は、前記判別ネットワーク２２２をもって、前記学習用第１列挙イベントベクトルと、管理者によって生成された学習用第２列挙イベントベクトルとのうちの少なくとも一つである、前記判別ネットワークに入力された少なくとも一つの列挙イベントが前記管理者によって生成されたものか、それとも前記生成ネットワークによって生成されたものかに対する確率を示す予測識別点数を生成するようにする。そして、前記ＧＡＮ２２０は、前記予測識別点数及びＧＴ識別点数を参照してＧＡＮロスを生成し、前記ＧＡＮロスを利用してバックプロパゲーションを遂行することによって前記判別ネットワーク２２２と前記生成ネットワーク２２１とに含まれているパラメータのうちの少なくとも一部を学習することができる。

つまり、前記判別ネットワーク２２２は、自身に入力された列挙イベントベクトルが人によって生成されたものか、それとも人工知能によって生成されたものかをより正確に判断するように学習され、前記生成ネットワーク２２１は、前記判別ネットワーク２２２をもっとうまくだますことができるように学習され得る。その結果、前記生成ネットワーク２２１がより人のように、前記特定列挙イベントベクトルを含む列挙イベントベクトルを生成できるようになるのである。

このように学習が完了した前記生成ネットワーク２２１は、前記特定走行イベントを前記特定の順序で選択して前記特定列挙イベントベクトルを生成することができるであろう。

この際、前記第１実施例及び前記第２実施例は、前記走行シナリオ生成装置２００に同時に実装されて、ＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を通じ、前記ユーザによって選択されることができる。

また、前記走行シナリオ生成装置２００は、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオが予め設定された検証基準を満たす場合に、これを前記学習装置１００に伝達することができる。以下、前記検証規則について説明する。

前記検証規則は、過去の特定の時間範囲、例えば直近１年で予め設定された回数だけ運転者によって違反された一つ以上の特定道路規則に対応するものであり得る。このような検証規則は、前記管理者によって前記走行シナリオ生成装置２００に入力され得、前記走行シナリオ生成装置２００は、これを用いて、前記特定の列挙イベントベクトル及び前記特定ＧＴ走行シナリオに前記特定道路規則を順守もしくは違反する一つ以上の状況が反映されたか否かを判断し、このような状況を反映した場合に前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオが前記検証規則を満足すると判断することができる。

例えば、近年運転者が違反した前記特定道路規則を（ｉ）トンネル内では車線を変更してはならないという規則と、（ｉｉ）近くの道路標識に示されている時点だけＵターン可能という規則との二つの規則であると仮定する。この際、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオが、（ｉ）及び（ｉｉ）の前記特定道路規則と関連がない場合、前記検証規則を満たさないものと考えられる。前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオが前記道路規則と関連があるか否かは、前記特定走行イベントに、前記道路規則に対応する検証走行ドライビングイベントが含まれているか否かを判断することによって判断されるであろう。

前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオが取得された後、前記学習装置１００は、前記ＲＮＮ１３０をもって、前記特定列挙イベントベクトルの前記特定成分に、前記特定の順序で一つ以上のＲＮＮ演算を適用することができる。

ここで、前記ＲＮＮ１３０は、（ｉ）ＬＳＴＭ（Ｌｏｎｇ−Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）手法と、（ｉｉ）ＧＲＵ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）手法との中の一つを利用して、前記ＲＮＮ演算を遂行するように学習され得る。前記ＬＳＴＭ手法は、入力ゲートと、忘却ゲートと、出力ゲートとを含む一つのＲＮＮセルが、短期状態ベクトル及び長期状態ベクトルを生成するように利用され得る手法である。前記ＧＲＵ手法は、アップデートゲートとリセットゲートとを含む一つのＲＮＮセルが状態ベクトルを生成するように利用され得る手法である。このような前記ＬＳＴＭ手法及び前記ＧＲＵ手法が本発明の前記ＲＮＮ１３０の具現に用いられ得るが、これは広く知られた従来技術であるため、これ以上の詳しい説明は省略する。

この後、前記学習装置１００は前記ロスモジュール１４０をもって、前記特定予測走行シナリオ及び前記特定ＧＴ走行シナリオを参照して前記ＲＮＮロスを生成するようにし得る。前記ＲＮＮロスを生成するために、広く知られている従来技術であるクロスエントロピーアルゴリズム（ｃｒｏｓｓ−ｅｎｔｒｏｐｙ ａｌｇｏｒｉｔｈｍ）が用いられ得る。より具体的には、前記特定予測走行シナリオは、走行シナリオが前記特定列挙イベントベクトルにその成分として含まれる確率を含むベクトルであり得る。そして、前記特定ＧＴ走行シナリオは、走行シナリオが前記特定列挙イベントベクトルにその成分として存在しないことを示す０と、走行シナリオが前記特定列挙イベントベクトルにその成分として存在することを示す１とを含むワンホットエンコーディング（ｏｎｅ−ｈｏｔ ｅｎｃｏｄｉｎｇ）ベクトルであり得る。ベクトル形態の前記特定予測走行シナリオと、ワンホットエンコーディングベクトル形態の前記特定ＧＴ走行シナリオとを用いて、前記クロスエントロピーアルゴリズムが、前記ＲＮＮロスを生成するように遂行され得る。クロスエントロピーアルゴリズムは広く知られた従来技術であるため、これ以上の詳しい説明は省略する。

前記ＲＮＮロスが生成された後、前記学習装置１００が、前記ロスモジュール１４０をもって、前記ＲＮＮロスを用いて時系列バックプロパゲーション（ＢＰＴＴ）を遂行することで、前記ＲＮＮ１３０のパラメータのうちの少なくとも一部を学習するようにすることができる。

以上の過程を経ることで、前記ＲＮＮ１３０の学習が完了され得であろう。次に、本発明のテスティング方法について説明する。前記テスティング方法を遂行するテスティング装置は、前記学習装置１００の構成において、前記ロスモジュール１４０が除外され、その代わりに評価モジュール及びイベント検出モジュールを含み得る。

特に、（１）前記学習装置１００が、学習用特定走行イベントそれぞれについての各情報を学習用特定の順序で学習用特定成分として含む少なくとも一つの学習用特定列挙イベントベクトルが取得されると、前記ＲＮＮ１３０をもって、前記学習用特定列挙イベントベクトルの前記学習用特定成分に前記学習用特定の順序で前記ＲＮＮ演算を適用することにより、前記学習用特定走行イベントのうちの少なくとも一部を含む少なくとも一つの学習用特定予測走行シナリオを検出するようにし、（２）前記学習装置１００が、前記ロスモジュール１４０をもって、前記学習用特定予測走行シナリオ及び取得済み前記特定ＧＴ走行シナリオを参照して前記ＲＮＮロスを生成するようにし、前記ＲＮＮロスを利用して時系列バックプロパゲーションを遂行するようにすることで、前記ＲＮＮのパラメータのうちの少なくとも一部を学習した状態で、対象車両と連動するテスティング装置が、一つ以上のテスト用走行イベントが検出されると、前記ＲＮＮ１３０をもって、前記テスト用走行イベントそれぞれに対する各情報に前記ＲＮＮ演算を順番に適用することにより、前記テスト用走行イベントのうちの少なくとも一部を含む一つ以上のテスト用予測走行シナリオを検出することができる。

その後、前記テスティング装置は、前記評価モジュールをもって、前記テスト用予測走行シナリオを参照して前記対象車両の対象運転者の走行習慣を評価するために利用される評価情報を生成するようにし得る。

この際、走行中に前記対象車両の内部及び外部で起こる前記テスト用走行イベントが前記イベント検出モジュールによって検出され得る。すなわち、前記テスティング装置が、前記イベント検出モジュールをもって、前記対象車両に搭載された、電子制御ユニット（ＥＣＵ）と外部環境モニタリングユニットとのうちの少なくとも一つと連動して前記テスト用前記走行イベントを検出することができる。

具体的に、前記テスティング装置が前記イベント検出モジュールをもって、前記ＥＣＵと連動して、方向情報と、速度情報と、方向指示器情報と、非常点滅表示灯情報とのうちの少なくとも一部を含む内部動作情報の中の少なくとも一部を取得することにより、前記テスト用走行イベントのうちの少なくとも一部を検出し得るであろう。前記ＥＣＵは、前記対象車両を制御するものであり、前記ＥＣＵと連動することで前記内部動作情報が取得され得るであろう。具体的な取得過程は従来技術に当たるため、これ以上の詳しい説明は省略する。

また、前記テスティング装置が、前記イベント検出モジュールをもって、前記外部環境モニタリングユニットと連動して、前記対象車両から第１閾値距離以下に位置した信号機の表示情報と、前記対象車両から第２閾値距離以下に位置した周辺車両の周辺運動情報と、前記対象車両が位置した車道に対する車道情報とのうちの少なくとも一部を含む外部環境情報のうちの少なくとも一部を取得するようにし得る。この際、前記外部環境モニタリングユニットは、外部カメラ及びＶ２Ｘ（ｖｅｈｉｃｌｅーｔｏーｅｖｅｒｙｔｈｉｎｇ）通信モジュールを含み得る。一例として、前記表示情報及び前記車道情報は、前記外部カメラによって取得された走行イメージにイメージプロセッシング演算を適用して取得され得る。他の例として、前記表示情報と、前記周辺運動情報と、前記車道情報とは、サーバもしくは前記周辺車両と通信する前記Ｖ２Ｘ通信モジュールを利用して取得され得る。

前記テスト用走行イベントが取得された後、前記テスティング装置は、学習が完了した前記ＲＮＮ１３０をもって、前記テスト用走行イベントに対する各情報に順番で前記ＲＮＮ演算を適用して、前記テスト用予測走行シナリオを検出するようにすることができる。例えば、（ｉ）右側の前記特定車線検出、（ｉｉ）右側方向指示器点灯、及び（ｉｉｉ）左側への車線変更に対応する前記テスト用特定走行イベントが検出されると、前記ＲＮＮ１３０は、車線変更規則違反に対応する前記テスト用予測走行シナリオを検出し得る。

その後、前記テスティング装置が、前記評価モジュールをもって、前記テスト用予測走行シナリオを参照して取得された、前記対象運転者が道路規則を違反した回数及び頻度のうちの少なくとも一つに対して統計的分析演算を遂行するようにし、前記統計的分析演算の結果を含む前記評価情報を生成するようにすることができる。例えば、前記評価情報は、前記対象運転者がどれだけ頻繁に前記道路規則を違反するのかと、前記対象運転者が前記道路規則に違反することなく平均的にどれだけ遠く前記対象車両を走行するのかとに対する統計的分析結果を含み得る。

また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータ読取り可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。

以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。

従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

［付記］
本発明は、走行途中に発生する走行シナリオを検出して、運転者の走行習慣を評価するための情報の提供する方法及び装置｛ＭＥＴＨＯＤ ＡＮＤ ＤＥＶＩＣＥ ＦＯＲ ＰＲＯＶＩＤＩＮＧ ＩＮＦＯＲＭＡＴＩＯＮ ＦＯＲ ＥＶＡＬＵＡＴＩＮＧ ＤＲＩＶＩＮＧ ＨＡＢＩＴＳ ＯＦ ＤＲＩＶＥＲ ＢＹ ＤＥＴＥＣＴＩＮＧ ＤＲＩＶＩＮＧ ＳＣＥＮＡＲＩＯＳ ＯＣＣＵＲＲＩＮＧ ＤＵＲＩＮＧ ＤＲＩＶＩＮＧ｝に関する。

Claims (28)

1. 走行中に発生する走行イベントを検出することにより、前記走行イベントのうちの少なくとも一部を含む走行シナリオを検出するための学習方法において、
   （ａ）学習装置が、特定走行イベントそれぞれについての各情報を特定の順序で特定成分として含む少なくとも一つの特定列挙（ｅｎｕｍｅｒａｔｅｄ）イベントベクトルが取得されると、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をもって、前記特定列挙イベントベクトルの前記特定成分に前記特定の順序で少なくとも一つのＲＮＮ演算を適用することにより、前記特定走行イベントのうちの少なくとも一部を含む少なくとも一つの特定予測走行シナリオを検出するようにする段階；及び
   （ｂ）前記学習装置が、ロスモジュールをもって、前記特定予測走行シナリオ及び取得済み特定ＧＴ（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）走行シナリオを参照してＲＮＮロスを生成するようにし、前記ＲＮＮロスを用いて時系列バックプロパゲーション（ＢＰＴＴ；Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ Ｔｈｒｏｕｇｈ Ｔｉｍｅ）を遂行するようにすることにより、前記ＲＮＮのパラメータのうち少なくとも一部を学習する段階；
   を含むことを特徴とする方法。
2. 前記（ａ）段階以前に、
   （ａ０）（ｉ）走行シナリオ生成装置が、前記特定走行イベントを含むそれぞれの走行イベントに対応するそれぞれのグラフィック物体をディスプレイ装置によって提供するプロセス、（ｉｉ）前記特定走行イベントに対応する特定グラフィック物体がユーザによって前記特定の順序で選択されると、前記走行シナリオ生成装置が、前記選択された特定走行イベントそれぞれについての各情報を前記特定の順序で利用して前記特定列挙イベントベクトルを生成するプロセス、（ｉｉ）前記走行シナリオ生成装置が、前記特定の順序で前記特定走行イベントに対応する前記特定ＧＴ走行シナリオを生成するプロセス、及び（ｉｖ）前記走行シナリオ生成装置が、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを前記学習装置に伝達するプロセスを遂行することにより、前記走行シナリオ生成装置と連動する前記学習装置が、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを取得する段階；
   をさらに含むことを特徴とする請求項１に記載の方法。
3. 前記走行シナリオ生成装置は、前記特定走行イベントが前記走行イベントの中から選択されると、前記特定走行イベントのうちの少なくとも一つに少なくとも一つの変調演算を適用し、前記変調演算が適用された状態の前記特定走行イベントを利用して少なくとも一つの変調特定列挙イベントベクトル及び少なくとも一つの変調特定ＧＴ走行シナリオをさらに生成することを特徴とする請求項２に記載の方法。
4. 前記（ａ）段階以前に、
   （ａ１）（ｉ）走行シナリオ生成装置が、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）をもって、少なくとも一つのＧＡＮ演算を遂行するようにして、（ｉ−１）前記走行イベントの中から前記特定走行イベントを前記特定の順序で選択し、（ｉ−２）前記特定走行イベントに対する各情報を前記特定の順序で利用して、前記特定列挙イベントベクトルを生成し、（ｉ−３）前記特定の順序で前記特定走行イベントに対応する前記特定ＧＴ走行シナリオを生成するプロセス、及び（ｉｉ）前記走行シナリオ生成装置が、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを前記学習装置に伝達するプロセスを遂行することにより、前記走行シナリオ生成装置と連動する前記学習装置が、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを取得する段階；
   をさらに含むことを特徴とする請求項１に記載の方法。
5. 前記走行シナリオ生成装置が、前記ＧＡＮに含まれている事前学習済み生成ネットワークをもって、前記ＧＡＮ演算の少なくとも一部である少なくとも一つの生成演算を遂行するようにすることにより、前記特定走行イベントを前記特定の順序で選択して前記特定列挙イベントベクトルを生成することを特徴とする請求項４に記載の方法。
6. 前記ＧＡＮは、（ｉ）前記生成ネットワークをもって、それぞれの学習用第１順序の学習用第１走行イベントの第１グループそれぞれに対応する学習用第１列挙イベントベクトルそれぞれを生成するようにし、（ｉｉ）判別ネットワークをもって、前記学習用第１列挙イベントベクトルと、管理者によって生成された学習用第２列挙イベントベクトルとのうちの少なくとも一つである、前記判別ネットワークに入力された少なくとも一つのイベントベクトルが前記管理者によって生成されたものか、それとも前記生成ネットワークによって生成されたものかに対する確率を示す予測識別点数を生成するようにし、（ｉｉｉ）前記予測識別点数及びＧＴ識別点数を参照してＧＡＮロスを生成し、（ｉｖ）前記ＧＡＮロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することにより、前記判別ネットワーク及び前記生成ネットワークに含まれているパラメータのうちの少なくとも一部を学習した状態であることを特徴とする請求項５に記載の方法。
7. 前記（ａ）段階以前に、
   （ａ３）前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオが予め設定された検証規則を満たす場合、走行シナリオ生成装置と連動する前記学習装置が、前記走行シナリオ生成装置によって前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを取得する段階；
   をさらに含むことを特徴とする請求項１に記載の方法。
8. 過去の特定時間範囲の間に、予め設定された回数だけ運転者によって違反された一つ以上の特定道路規則に対応する前記検証規則は、管理者によって前記走行シナリオ生成装置に入力され、
   前記走行シナリオ生成装置は、前記検証規則を参照して、前記特定道路規則を遵守または違反する一つ以上の状況が前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオに反映されている場合、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオが前記検証規則を満たすと決定することを特徴とする請求項７に記載の方法。
9. 前記学習装置が、前記ＲＮＮをもって（ｉ）ＬＳＴＭ（Ｌｏｎｇ−Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）手法と（ｉｉ）ＧＲＵ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）手法との中から選択された手法を利用して前記ＲＮＮ演算を遂行するようにすることを特徴とする請求項１に記載の方法。
10. 走行中に発生する走行シナリオを検出することにより対象運転者の走行習慣を評価するテスティング方法において、
    （ａ）（１）学習装置が、学習用特定走行イベントそれぞれについての各情報を学習用特定の順序で学習用特定成分として含む少なくとも一つの学習用特定列挙イベントベクトルが取得されると、ＲＮＮをもって、前記学習用特定列挙イベントベクトルの前記学習用特定成分に前記学習用特定の順序で少なくとも一つのＲＮＮ演算を適用することにより、前記学習用特定走行イベントのうちの少なくとも一部を含む少なくとも一つの学習用特定予測走行シナリオを検出するようにし、（２）前記学習装置が、ロスモジュールをもって、前記学習用特定予測走行シナリオ及び取得済み特定ＧＴ走行シナリオを参照してＲＮＮロスを生成するようにし、前記ＲＮＮロスを利用して時系列バックプロパゲーション（ＢＰＴＴ）を遂行するようにすることで、前記ＲＮＮのパラメータのうちの少なくとも一部を学習した状態で、対象車両と連動するテスティング装置が、一つ以上のテスト用走行イベントが検出されると、前記ＲＮＮをもって、前記テスト用走行イベントそれぞれに対する各情報に前記ＲＮＮ演算を順番に適用することにより、前記テスト用走行イベントのうちの少なくとも一部を含む一つ以上のテスト用予測走行シナリオを検出するようにする段階；及び
    （ｂ）前記テスティング装置が、評価モジュールをもって、前記テスト用予測走行シナリオを参照して前記対象車両の前記対象運転者の前記走行習慣を評価するために利用される評価情報を生成するようにする段階；
    を含むことを特徴とするテスティング方法。
11. 前記（ａ）段階で、
    前記テスティング装置がイベント検出モジュールをもって、前記対象車両に搭載された（ｉ）電子制御ユニット（ＥＣＵ）と（ｉｉ）外部環境モニタリングユニットとのうちの少なくとも一つと連動して、走行中に前記対象車両の内部及び外部で起こる前記テスト用走行イベントを検出するようにすることを特徴とする請求項１０に記載のテスティング方法。
12. 前記テスティング装置が前記イベント検出モジュールをもって、前記ＥＣＵと連動して、方向情報と、速度情報と、方向指示器情報と、非常点滅表示灯情報とのうちの少なくとも一部を含む内部動作情報の中の少なくとも一部を取得することにより、前記テスト用走行イベントのうちの少なくとも一部を検出するようにすることを特徴とする請求項１１に記載のテスティング方法。
13. 前記テスティング装置が前記イベント検出モジュールをもって、前記外部環境モニタリングユニットの、外部カメラとＶ２Ｘ（ｖｅｈｉｃｌｅ−ｔｏ−ｅｖｅｒｔｙｉｎｇ）通信モジュールとの中の少なくとも一つと連動して、前記対象車両から第１閾値距離以下に位置した信号機の表示情報と、前記対象車両から第２閾値距離以下に位置した周辺車両の周辺運動情報と、前記対象車両が位置した車道に対する車道情報とのうちの少なくとも一部を含む外部環境情報のうちの少なくとも一部を取得することにより、前記テスト用走行イベントのうちの少なくとも一部を検出することを特徴とする請求項１１に記載のテスティング方法。
14. 前記（ｂ）段階で、
    前記テスティング装置が、前記評価モジュールをもって、前記テスト用予測走行シナリオを参照して取得された、前記対象運転者が道路規則を違反した回数及び頻度のうちの少なくとも一つに対して統計的分析演算を遂行するようにし、前記統計的分析演算の結果を含む前記評価情報を生成するようにすることを特徴とする請求項１０に記載のテスティング方法。
15. 走行中に発生する走行イベントを検出することにより、前記走行イベントのうちの少なくとも一部を含む走行シナリオを検出するための学習装置において、
    インストラクションを格納する少なくとも一つのメモリ；及び
    （Ｉ）特定走行イベントそれぞれについての各情報を特定の順序で特定成分として含む少なくとも一つの特定列挙イベントベクトルが取得されると、ＲＮＮをもって、前記特定列挙イベントベクトルの前記特定成分に前記特定の順序で少なくとも一つのＲＮＮ演算を適用することにより、前記特定走行イベントのうちの少なくとも一部を含む少なくとも一つの特定予測走行シナリオを検出するようにするプロセス、及び（ＩＩ）ロスモジュールをもって、前記特定予測走行シナリオ及び取得済み特定ＧＴ走行シナリオを参照してＲＮＮロスを生成するようにし、前記ＲＮＮロスを利用して時系列バックプロパゲーション（ＢＰＴＴ）を遂行するようにすることで、前記ＲＮＮのパラメータのうちの少なくとも一部を学習するプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
    を含むことを特徴とする学習装置。
16. 前記（Ｉ）プロセス以前に、
    前記プロセッサが、（Ｉ１）（ｉ）走行シナリオ生成装置が、前記特定走行イベントを含むそれぞれの走行イベントに対応するそれぞれのグラフィック物体をディスプレイ装置によって提供するプロセス、（ｉｉ）前記特定走行イベントに対応する特定グラフィック物体がユーザによって前記特定の順序で選択されると、前記走行シナリオ生成装置が、前記選択された特定走行イベントそれぞれについての各情報を前記特定の順序で利用して前記特定列挙イベントベクトルを生成するプロセス、（ｉｉｉ）前記走行シナリオ生成装置が、前記特定の順序で前記特定走行イベントに対応する前記特定ＧＴ走行シナリオを生成するプロセス、及び（ｉｖ）前記走行シナリオ生成装置が、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを前記学習装置に伝達するプロセスを遂行することにより、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを取得するプロセスをさらに遂行することを特徴とする請求項１５に記載の学習装置。
17. 前記走行シナリオ生成装置は、前記特定走行イベントが前記走行イベントの中から選択されると、前記特定走行イベントのうちの少なくとも一つに少なくとも一つの変調演算を適用し、前記変調演算が適用された状態の前記特定走行イベントを利用して少なくとも一つの変調特定列挙イベントベクトル及び少なくとも一つの変調特定ＧＴ走行シナリオをさらに生成することを特徴とする請求項１６に記載の学習装置。
18. 前記（Ｉ）プロセス以前に、
    前記プロセッサが、（Ｉ２）（ｉ）前記学習装置と連動する走行シナリオ生成装置が、ＧＡＮをもって、少なくとも一つのＧＡＮ演算を遂行するようにして、（ｉ−１）前記走行イベントの中のから記特定走行イベントを前記特定の順序で選択し、（ｉ−２）前記特定走行イベントに対する各情報を前記特定の順序で利用して、前記特定列挙イベントベクトルを生成し、（ｉ−３）前記特定の順序で前記特定走行イベントに対応する前記特定ＧＴ走行シナリオを生成するプロセス、及び（ｉｉ）前記走行シナリオ生成装置が、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを前記学習装置に伝達するプロセスを遂行することにより、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを取得するプロセスをさらに遂行することを特徴とする請求項１５に記載の学習装置。
19. 前記走行シナリオ生成装置が、前記ＧＡＮに含まれている事前学習済み生成ネットワークをもって、前記ＧＡＮ演算の少なくとも一部である少なくとも一つの生成演算を遂行されることにより、前記特定走行イベントを前記特定の順序で選択して前記特定列挙イベントベクトルを生成することを特徴とする請求項１８に記載の学習装置。
20. 前記ＧＡＮは、（ｉ）前記生成ネットワークをもって、それぞれの学習用第１順序の学習用第１走行イベントの第１グループそれぞれに対応する学習用第１列挙イベントベクトルそれぞれを生成するようにし、（ｉｉ）判別ネットワークをもって、前記学習用第１列挙イベントベクトルと、管理者によって生成された学習用第２列挙イベントベクトルとのうちの少なくとも一つである、前記判別ネットワークに入力された少なくとも一つのイベントベクトルが前記管理者によって生成されたものか、それとも前記生成ネットワークによって生成されたものかに対する確率を示す予測識別点数を生成するようにし、（ｉｉｉ）前記予測識別点数及びＧＴ識別点数を参照してＧＡＮロスを生成し、（ｉｖ）前記ＧＡＮロスを利用してバックプロパゲーションを遂行することにより、前記判別ネットワーク及び前記生成ネットワークに含まれているパラメータのうちの少なくとも一部を学習した状態であることを特徴とする請求項１９に記載の学習装置。
21. 前記（Ｉ）プロセス以前に、
    前記プロセッサが、（Ｉ３）前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオが予め設定された検証規則を満たす場合、前記学習装置と連動する走行シナリオ生成装置によって前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオを取得するプロセスをさらに遂行することを特徴とする請求項１５に記載の学習装置。
22. 過去の特定時間範囲の間に、予め設定された回数だけ運転者によって違反された一つ以上の特定道路規則に対応する前記検証規則は、管理者によって前記走行シナリオ生成装置に入力され、
    前記走行シナリオ生成装置は、前記検証規則を参照して、前記特定道路規則を遵守または違反する一つ以上の状況が前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオに反映されている場合、前記特定列挙イベントベクトル及び前記特定ＧＴ走行シナリオが前記検証規則を満たすと決定することを特徴とする請求項２１に記載の学習装置。
23. 前記プロセッサが、前記ＲＮＮをもって（ｉ）ＬＳＴＭ（Ｌｏｎｇ−Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）手法と（ｉｉ）ＧＲＵ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）手法との中から選択された手法を利用して前記ＲＮＮ演算を遂行するようにすることを特徴とする請求項１５に記載の学習装置。
24. 走行中に発生する走行シナリオを検出することにより対象運転者の走行習慣を評価するテスティング装置において、
    インストラクションを格納する少なくとも一つのメモリ；及び
    （Ｉ）（１）学習装置が、学習用特定走行イベントそれぞれについての各情報を学習用特定の順序で学習用特定成分として含む少なくとも一つの学習用特定列挙イベントベクトルが取得されると、ＲＮＮをもって、前記学習用特定列挙イベントベクトルの前記学習用特定成分に前記学習用特定の順序で少なくとも一つのＲＮＮ演算を適用することにより、前記学習用特定走行イベントのうちの少なくとも一部を含む少なくとも一つの学習用特定予測走行シナリオを検出するようにし、（２）前記学習装置が、ロスモジュールをもって、前記学習用特定予測走行シナリオ及び取得済み特定ＧＴ走行シナリオを参照してＲＮＮロスを生成するようにし、前記ＲＮＮロスを利用して時系列バックプロパゲーションを遂行するようにすることで、前記ＲＮＮのパラメータのうちの少なくとも一部を学習した状態で、一つ以上のテスト用走行イベントが検出されると、前記ＲＮＮをもって、前記テスト用走行イベントそれぞれに対する各情報に前記ＲＮＮ演算を順番に適用することにより、前記テスト用走行イベントのうちの少なくとも一部を含む一つ以上のテスト用予測走行シナリオを検出するようにするプロセス；及び（ＩＩ）評価モジュールをもって、前記テスト用予測走行シナリオを参照して、前記テスティング装置と連動する対象車両の前記対象運転者の前記走行習慣を評価するために用いられる評価情報を生成するようにするプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
    を含むことを特徴とするテスティング装置。
25. 前記（Ｉ）プロセスで、
    前記プロセッサが、イベント検出モジュールをもって、前記対象車両に搭載された、（ｉ）電子制御ユニット（ＥＣＵ）と（ｉｉ）外部環境モニタリングユニットとのうちの少なくとも一つと連動して、走行中に前記対象車両の内部及び外部で起きる前記テスト用走行イベントを検出するようにすることを特徴とする請求項２４に記載のテスティング装置。
26. 前記プロセッサが、前記イベント検出モジュールをもって、前記ＥＣＵと連動して、方向情報と、速度情報と、方向指示器情報と、非常点滅表示灯情報とのうちの少なくとも一部を含む内部動作情報の中の少なくとも一部を取得することにより、前記テスト用走行イベントのうちの少なくとも一部を検出するようにすることを特徴とする請求項２５に記載のテスティング装置。
27. 前記プロセッサが、前記イベント検出モジュールをもって、前記外部環境モニタリングユニットの、外部カメラとＶ２Ｘ通信モジュールとの中の少なくとも一つと連動して、前記対象車両から第１閾値距離以下に位置した信号機の表示情報と、前記対象車両から第２閾値距離以下に位置した周辺車両の周辺運動情報と、前記対象車両が位置した車道に対する車道情報とのうちの少なくとも一部を含む外部環境情報のうちの少なくとも一部を取得することにより、前記テスト用走行イベントのうちの少なくとも一部を検出することを特徴とする請求項２５に記載のテスティング装置。
    
28. 前記（ＩＩ）プロセスで、
    前記プロセッサが前記評価モジュールをもって、前記テスト用予測走行シナリオを参照して取得された、前記対象運転者が道路規則を違反した回数及び頻度ののうちの少なくとも一つに対して統計的分析演算を遂行するようにし、前記統計的分析演算の結果を含む前記評価情報を生成するようにすることを特徴とする請求項２４に記載のテスティング装置。

Images