JPWO2021092702A5 - - Google Patents

Claims (34)

1. 関心のオブジェクトを包含するシーンを感知する方法であって、
   ａ．複数のセンサモダリティからのセンサデータを受け取ることであって、各センサモダリティが、前記関心のオブジェクトの少なくとも１つを包含する前記シーンの少なくとも一部分を観察し、前記シーンの一部分及び前記少なくとも１つの関心のオブジェクトに関する情報を伝達するセンサデータを生成する、センサデータを受け取ることと、
   ｂ．前記関心のオブジェクトを検出するとともに複数の一次検出結果を生成するために前記各センサモダリティからのセンサデータを処理することであって、各検出結果がそれぞれのセンサモダリティに関連付けられる、センサデータを処理することと、
   ｃ．前記シーンの融合３Ｄマップを生成するために第１のセンサモダリティから取得されたセンサデータを第２のセンサモダリティから取得されたセンサデータと融合することと、
   ｄ．前記シーンにおける関心のオブジェクトを検出するとともに二次検出結果を生成するために前記融合３Ｄマップを処理することと、
   ｅ．前記一次及び前記二次検出結果に対してオブジェクトレベル融合を実行することと、
   を含む、方法。
2. 前記複数のセンサモダリティは、前記シーンの少なくとも一部分を表す画像データを生成するカメラを含む、
   請求項１に記載の方法。
3. 前記複数のセンサモダリティは、前記シーンの少なくとも一部分を表すライダーデータを生成するライダーを含む、
   請求項２に記載の方法。
4. 前記複数のセンサモダリティは、前記シーンの少なくとも一部分を表すレーダーデータを生成するレーダーを含む、
   請求項２に記載の方法。
5. 前記画像データは、複数の画素を伝達し、前記ライダーデータは、複数の距離測定値を伝達し、前記融合することは、前記ライダーデータからの距離値を前記画像データにおける画素に関連付けることを含む、
   請求項３に記載の方法。
6. 前記融合することは、前記ライダーデータにおいて前記距離値が利用できない前記画像データにおける第１の画素に対して、前記第１の画素に視覚的に類似する前記画像データにおける第２の画素に対して利用可能な前記ライダーデータにおける距離値に少なくとも部分的に基づいて、距離値を推定することを含む、
   請求項５に記載の方法。
7. 前記カメラは、前記ライダーよりも高い解像度を有する、
   請求項６に記載の方法。
8. 前記融合することは、セグメントにおける画素の視覚的類似性に少なくとも部分的に基づいて前記画像データにおけるセグメントを定義することを含む、
   請求項７に記載の方法。
9. 前記融合することは、類似する色を有する前記シーンの一部分を表す画素を含むように所与のセグメントの境界を定義する、
   請求項８に記載の方法。
10. 前記融合することは、特定のセグメントにおける画素に関連付けられる前記ライダーデータにおける３又は４以上の距離値を識別し、平面の方程式を用いることによる前記複数の距離値に基づいて、前記ライダーデータにおいて前記距離値が利用できない前記特定のセグメントにおける他の画素の距離値を推定する、
    請求項８に記載の方法。
11. 前記二次検出結果に基づいて占有グリッドを計算することを含む、
    請求項１に記載の方法。
12. 前記占有グリッドは、前記関心のオブジェクト、及び前記関心のオブジェクトの相対位置を定義する、
    請求項１１に記載の方法。
13. 前記関心のオブジェクトは、車両を含む、
    請求項１２に記載の方法。
14. 前記占有グリッドは、個々の車両の軌道を識別する、
    請求項１３に記載の方法。
15. 前記占有グリッドは、個々の車両の速度を識別する、
    請求項１４に記載の方法。
16. 前記占有グリッドは、前記車両の周りのフリースペースを定義する、
    請求項１５に記載の方法。
17. 連続データフレームを介して検出されたオブジェクトを追跡することによって３Ｄスペースにおいて検出されたオブジェクトの動き経路を辿るために前記二次検出結果を処理することを更に含む、
    請求項１６に記載の方法。
18. ａ．複数のセンサモジュールであって、各センサモジュールが、
    ｉ．前記複数のセンサモジュールのうちのセンサモジュールの別のセンサのモダリティとは異なるそれぞれのモダリティに従って動作するセンサであって、関心のオブジェクトの少なくとも１つを包含するシーンの少なくとも一部分を観察し、前記シーンの一部分及び前記少なくとも１つの関心のオブジェクトに関する情報を伝達するセンサデータを生成するように構成されるセンサと、
    ｉｉ．一次検出結果を出力するために前記センサデータを処理する知覚機能ブロックと、
    を含む、複数のセンサモジュールと、
    ｂ．センサ融合モジュールであって、
    ｉ．前記シーンの融合３Ｄマップを生成するために、第１のセンサモダリティに従って動作する第１のセンサモジュールから取得されたセンサデータを、第２のセンサモダリティに従って動作する第２のセンサモジュールから取得されたセンサデータと融合し、
    ｉｉ．前記シーンにおける関心のオブジェクトを検出するとともに二次検出結果を生成するために前記融合３Ｄマップを処理し、
    ｉｉｉ．前記一次及び前記二次検出結果に対してオブジェクトレベルの融合を実行する、
    ように構成されたセンサ融合モジュールと、
    を備える、システム。
19. 前記複数のセンサモダリティは、前記シーンの少なくとも一部分を表す画像データを生成するカメラを含む、
    請求項１８に記載のシステム。
20. 前記複数のセンサモダリティは、前記シーンの少なくとも一部分を表すライダーデータを生成するライダーを含む、
    請求項１９に記載のシステム。
21. 前記複数のセンサモダリティは、前記シーンの少なくとも一部分を表すレーダーデータを生成するレーダーを含む、
    請求項１９に記載のシステム。
22. 前記画像データは、複数の画素を伝達し、前記ライダーデータは、複数の距離測定値を伝達し、前記センサ融合モジュールは、前記ライダーデータからの距離値を前記画像データにおける画素に関連付けるように構成される、
    請求項２０に記載のシステム。
23. 前記センサ融合モジュールは、前記ライダーデータにおいて前記距離値が利用できない前記画像データにおける第１の画素に対して、前記第１の画素に視覚的に類似する前記画像データにおける第２の画素に対して利用可能な前記ライダーデータにおける距離値に少なくとも部分的に基づいて、距離値を推定するように構成される、
    請求項２２に記載のシステム。
24. 前記カメラは、前記ライダーよりも高い解像度を有する、
    請求項２３に記載のシステム。
25. 前記センサ融合モジュールは、セグメントにおける画素の視覚的類似性に少なくとも部分的に基づいて前記画像データにおけるセグメントを定義するように構成される、
    請求項２４に記載のシステム。
26. 前記センサ融合モジュールは、類似する色を有する前記シーンの一部分を表す画素を含むように所与のセグメントの境界を定義するように構成される、
    請求項２５に記載のシステム。
27. 前記センサ融合モジュールは、特定のセグメントにおける画素に関連付けられる前記ライダーデータにおける３又は４以上の距離値を識別し、平面の方程式を用いることによる前記複数の距離値に基づいて、前記ライダーデータにおいて前記距離値が利用できない前記特定のセグメントにおける他の画素の距離値を推定するように構成される、
    請求項２５に記載のシステム。
28. 前記センサ融合モジュールは、前記二次検出結果に基づいて占有グリッドを計算するように構成される、
    請求項１８に記載のシステム。
29. 前記占有グリッドは、前記関心のオブジェクト及び前記関心のオブジェクトの相対位置を定義する、
    請求項２８に記載のシステム。
30. 前記関心のオブジェクトは、車両を含む、
    請求項２９に記載のシステム。
31. 前記占有グリッドは、個々の車両の軌道を識別する、
    請求項３０に記載のシステム。
32. 前記占有グリッドは、個々の車両の速度を識別する、
    請求項３０に記載のシステム。
33. 前記占有グリッドは、前記車両の周りのフリースペースを定義する、
    請求項３０に記載のシステム。
34. 前記センサ融合モジュールは、連続データフレームを介して検出されたオブジェクトを追跡することによって３Ｄスペースにおいて検出されたオブジェクトの動き経路を辿るために前記二次検出結果を処理するように構成される、
    請求項１８に記載のシステム。