JP7418476B2 - 運転可能な領域情報を決定するための方法及び装置 - Google Patents

Description

[関連出願への相互参照]
この出願は、2019年6月18日付で中国国家知的財産管理局に出願された"運転可能な領域情報を決定するための方法及び装置"と題する中国特許出願第201910525320.1号に基づく優先権を主張し、その内容は、その全体が参照により本明細書に組み込まれる。

[技術分野]
この出願は、自動運転技術の分野に関し、特に、運転可能な領域情報を決定するための方法及び装置に関する。

車両の運転可能な領域は、その車両が位置している運転環境の中で、その車両が走行することが可能である領域である。その車両の運転可能な領域は、その車両が位置している運転環境の中の他の車両、歩行者、車両の運転可能ではない領域、及び道路における他の障害物領域等を避ける必要がある。

従来技術においては、カメラ装置を使用して、車両が位置している運転環境の中の検出されるべき領域の画像を撮影してもよく、そして、その次に、セマンティックセグメンテーションアルゴリズム又は畳み込みニューラルネットワーク(convolutional neural network, CNN)に基づくインスタンスセグメンテーションアルゴリズムを使用することによってその画像を識別して、その検出されるべき領域のうちの運転可能な領域を決定する。ところが、影又は障害物が存在する環境においては、カメラ装置は、光条件の影響を大きく受けるため、誤った判断が簡単に生起する。結果として、取得される運転可能な領域情報は正確ではない。加えて、レーザーレーダは、代替的に、検出されるべき領域にレーザーを送信するのに使用されてもよく、又は、車載型のレーダは、代替的に、検出されるべき領域に電磁波を送信するのに使用されてもよく、検出されるべき領域の中の障害物は、エコーを使用することによって決定される。したがって、検出されるべき領域のうちの運転可能な領域が決定される。ところが、レーザーレーダは、気候の影響を受けやすく、雨及び雪等の極端な気候の場合には、レーザーレーダの測定精度は低下する。結果として、取得される運転可能な領域情報は不正確である。車載型のレーダは、環境の中の雑音信号の影響を受けやすく、その雑音信号の振幅が検出しきい値を超えるときに、車載型のレーダは、障害物を誤って判断し、誤った警報を生起させ、又は、環境の中に複数の強い干渉の対象が存在するときに、車載型のレーダは、障害物の検知を誤る場合がある。結果として、取得される運転可能な領域情報は不正確である。

この出願の複数の実施形態は、運転可能な領域情報を決定するための方法及び装置を提供して、取得される運転可能な領域情報が不正確であるという問題を解決する。

第1の態様によれば、この出願のある1つの実施形態は、運転可能な領域情報を決定するための方法を提供する。その方法は、第1の情報を取得するステップであって、前記第1の情報は、少なくとも1つの画像に基づいて決定される初期の運転可能な領域に関する情報を含み、前記少なくとも1つの画像は、少なくとも1つのカメラモジュールからの画像である、ステップと、第2の情報を取得するステップであって、前記第2の情報は、レーダ検出情報を含む、ステップと、前記第1の情報及び前記第2の情報に基づいて、第1の運転可能な領域情報を決定するステップと、を含む。

この実装においては、最初に、第1の情報を取得し、第1の情報は、画像に基づいて決定される初期の運転可能な領域に関する情報を含み、その次に、レーダ検出情報を含む第2の情報を取得し、そして、最後に、第1の情報及び第2の情報に基づいて、第1の運転可能な領域情報を決定する。この実装によって提供される運転可能な領域情報を決定する方法にしたがって取得される第1の運転可能な領域情報は、画像情報及びレーダ検出情報を融合することによって取得され、高い精度を有し、例えば、カメラ装置が影又は障害物が存在する環境にあるとき、レーザーレーダが天候の影響を受けるとき、或いは、車載型のレーダが雑音信号の影響を受けるとき等、カメラ装置及びレーダ装置のうちのいずれか一方が実行する検出が、精密ではないときに、カメラ装置及びレーダ装置のうちの他方のものの検出情報を使用することによって、第1の運転可能な領域情報の精度を改善することが可能であり、車両走行の安全性を保証するということを理解することが可能である。

第1の態様に関して、第1の態様の第1の可能な実装において、前記レーダ検出情報は、前記初期の運転可能な領域の検出情報を含む。

この実装においては、レーダ検出情報の中に含まれる初期の運転可能な領域の検出情報は、第2の情報として決定される。続いて、レーダは、運転可能な領域情報を取得するための装置に、その初期の運転可能な領域の検出情報を送信しさえすればよく、それによって、データ伝送量は、比較的少なく、また、その後に、第1の情報及び第2の情報に基づいて、第1の運転可能な領域情報を決定するときに、融合する必要があるデータの量は、比較的少なく、計算量は比較的少ない。したがって、運転可能な領域情報を決定する効率を改善することが可能である。

第1の態様に関して、第1の態様の第2の可能な実装において、当該方法は、前記第1の情報及び前記第2の情報に基づいて、関心領域が存在するか否かを決定するステップをさらに含む。

この実装においては、第1の運転可能な領域情報の精度は、さらに、関心領域が存在するか否かを決定することによって決定されてもよく、したがって、決定される第1の運転可能な領域情報の精度を保証する。

第1の態様に関して、第1の態様の第3の可能な実装において、当該方法は、関心領域が存在するということを決定するステップと、第2の運転可能な領域情報及び前記関心領域の領域情報を取得するステップと、前記関心領域の前記領域情報に基づいて、前記関心領域の検出結果を取得するステップと、前記第2の運転可能な領域情報及び前記関心領域の前記検出結果に基づいて、前記第1の運転可能な領域情報を決定するステップと、をさらに含む。

この実装においては、関心領域が存在するということを決定するときに、第1の情報及び第2の情報が融合された後に得られる情報を第2の運転可能な領域情報として決定し、関心領域の領域情報に基づいて、関心領域を検出して、関心領域の検出結果を取得し、最後に、第2の運転可能な領域情報及び関心領域の検出結果に基づいて、第1の運転可能な領域情報を決定し、それによって、決定される第1の運転可能な領域情報の精度は高くなり、その後、第1の運転可能な領域情報に基づいて車両が走行するときの安全性は高くなる。

第1の態様に関して、第1の態様の第4の可能な実装において、初期の運転可能な領域に関する前記情報は、前記初期の運転可能な領域に対応する少なくとも1つのピクセルに関する情報を含むか、又は、初期の運転可能な領域に関する前記情報は、前記初期の運転可能な領域の境界情報によって示される。

この実装においては、初期の運転可能な領域に関する情報は、その初期の運転可能な領域の境界情報を使用することによって示されてもよく、それによって、初期の運転可能な領域に関する情報を送信するときに、データ伝送量を減少させることが可能であるとともに、運転可能な領域情報を決定する効率を改善することが可能である。

第1の態様に関して、第1の態様の第5の可能な実装において、前記レーダ検出情報は、位置座標情報を含むか、又は、前記レーダ検出情報は、位置座標情報及び前記位置座標の共分散情報を含む。

この実装においては、レーダ検出情報は、位置座標に関する情報及び位置座標の共分散情報を含んでもよく、それによって、レーダが、運転可能な領域情報を取得するための装置にレーダ検出情報を送信した後に、運転可能な領域情報を取得するための装置は、レーダが検出する目標点をより正確に決定することが可能であり、したがって、後に決定される第1の運転可能な領域情報の精度を改善する。

第2の態様によれば、この出願のある1つの実施形態は、運転可能な領域情報を決定するための方法を提供する。その方法は、第1の情報を受信するステップであって、前記第1の情報は、少なくとも1つの画像に基づいて決定される初期の運転可能な領域に関する情報を含み、前記少なくとも1つの画像は、少なくとも1つのカメラモジュールからの画像である、ステップと、第2の情報を生成するステップであって、前記第2の情報は、前記第1の情報に基づいて生成される前記初期の運転可能な領域のレーダ検出情報を含む、ステップと、前記第2の情報を送信するステップと、を含む。

この実装においては、最初に、第1の情報を受信し、その次に、第1の情報に基づいて、初期の運転可能な領域のレーダ検出情報を含む第2の情報を生成し、そして、最後に、運転可能な領域情報を取得するための装置に第2の情報を送信する。この実装によって提供される方法によれば、レーダは、運転可能な領域情報を取得するための装置に、初期の運転可能な領域のレーダ検出情報を送信しさえすればよく、それによって、データ伝送量は比較的少なくなり、その後に、第1の情報及び第2の情報に基づいて、第1の運転可能な領域情報を決定するときに、融合する必要があるデータ量は、比較的少なくなり、計算量は、比較的小さくなるということを理解することが可能である。したがって、運転可能な領域情報を決定する効率を改善することが可能である。

第3の態様によれば、この出願のある1つの実施形態は、運転可能な領域情報を決定するための装置を提供する。その装置は、第1の情報を取得するように構成される取得モジュールであって、前記第1の情報は、少なくとも1つの画像に基づいて決定される初期の運転可能な領域に関する情報を含み、前記少なくとも1つの画像は、少なくとも1つのカメラモジュールからの画像であり、前記取得モジュールは、さらに、第2の情報を取得するように構成され、前記第2の情報は、レーダ検出情報を含む、取得モジュールと、前記第1の情報及び前記第2の情報に基づいて、第1の運転可能な領域情報を決定するように構成される決定モジュールと、を含む。

この第1の実装によって提供される装置は、最初に、第1の情報を取得し、第1の情報は、画像に基づいて決定される初期の運転可能な領域に関する情報を含み、その次に、レーダ検出情報を含む第2の情報を取得し、そして、最後に、第1の情報及び第2の情報に基づいて、第1の運転可能な領域情報を決定する。この実装によって提供される運転可能な領域情報を決定する装置にが取得する第1の運転可能な領域情報は、画像情報及びレーダ検出情報を融合することによって取得され、高い精度を有し、例えば、カメラ装置が影又は障害物が存在する環境にあるとき、レーザーレーダが天候の影響を受けるとき、或いは、車載型のレーダが雑音信号の影響を受けるとき等、カメラ装置及びレーダ装置のうちの一方が実行する検出が、精密ではないときに、カメラ装置及びレーダ装置のうちの他方のものの検出情報を使用することによって、第1の運転可能な領域情報の精度を改善することが可能であり、車両走行の安全性を保証するということを理解することが可能である。

第3の態様に関して、第3の態様の第1の可能な実装において、前記レーダ検出情報は、前記初期の運転可能な領域の検出情報を含む。

この実装によって提供される装置は、第2の情報として、初期の運転可能な領域の検出情報のうちでレーダ検出情報の中に含まれる検出情報を決定する。その後、レーダは、運転可能な領域情報を取得するための装置に、初期の運転可能な領域の検出情報を送信しさえすればよく、それによって、データ伝送量は、比較的少なくなり、その後に、第1の情報及び第2の情報に基づいて第1の運転可能な領域情報を決定するときに、融合する必要があるデータ量は比較的少なくなり、そして、計算量は比較的少なくなる。したがって、運転可能な領域情報を決定する効率を改善することが可能である。

第3の態様に関して、第3の態様の第2の可能な実装において、前記決定モジュールは、さらに、前記第1の情報及び前記第2の情報に基づいて、関心領域が存在するか否かを決定するように構成される。

この実装によって提供される装置は、関心領域が存在するか否かを決定することによって、第1の運転可能な領域情報の精度を決定してもよく、したがって、決定される第1の運転可能な領域情報の精度を保証する。

第3の態様に関して、第3の態様の第3の可能な実装において、前記決定モジュールは、さらに、関心領域が存在するということを決定するように構成され、前記取得モジュールは、さらに、第2の運転可能な領域情報及び前記関心領域の領域情報を取得するように構成され、前記取得モジュールは、さらに、前記関心領域の前記領域情報に基づいて、前記関心領域の検出結果を取得するように構成され、前記決定モジュールは、さらに、前記第2の運転可能な領域情報及び前記関心領域の前記検出結果に基づいて、前記第1の運転可能な領域情報を決定するように構成される。

関心領域が存在するということを決定するときに、この実装によって提供される装置は、第2の運転可能な領域情報として、第1の情報及び第2の情報を融合した後に得られる情報を決定し、関心領域の領域情報に基づいて、関心領域を検出して、関心領域の検出結果を取得し、そして、最後に、第2の運転可能な領域情報及び関心領域の検出結果に基づいて、第1の運転可能な領域情報を決定し、それによって、決定される第1の運転可能な領域情報の精度は高くなり、その後に、車両が第1の運転可能な領域情報に基づいて走行するときの安全性は高くなる。

第3の態様に関して、第3の態様の第4の可能な実装において、初期の運転可能な領域に関する前記情報は、前記初期の運転可能な領域に対応する少なくとも1つのピクセルに関する情報を含むか、又は、初期の運転可能な領域に関する前記情報は、前記初期の運転可能な領域の境界情報によって示される。

この実装によって提供される装置によれば、初期の運転可能な領域の境界情報を使用することによって、初期の運転可能な領域に関する情報を示してもよく、それによって、初期の運転可能な領域に関する情報を送信するときに、データ伝送量を減少させることが可能であるとともに、運転可能な領域情報を決定する効率を改善することが可能である。

第3の態様に関して、第3の態様の第5の可能な実装において、前記レーダ検出情報は、位置座標情報を含むか、又は、前記レーダ検出情報は、位置座標情報及び前記位置座標の共分散情報を含む。

この実装によって提供される装置によれば、レーダ検出情報は、位置座標に関する情報及び位置座標の共分散情報を含んでもよく、レーダが、運転可能な領域情報を取得する装置にレーダ検出情報を送信した後に、運転可能な領域情報を取得する装置は、レーダが検出する目標点をより正確に決定することが可能であり、したがって、その後に決定される第1の運転可能な領域情報の精度を改善する。

第4の態様によれば、この出願のある1つの実施形態は、運転可能な領域情報を決定するための装置を提供する。その装置は、第1の情報を受信するように構成される受信モジュールであって、前記第1の情報は、少なくとも1つの画像に基づいて決定される初期の運転可能な領域に関する情報を含み、前記少なくとも1つの画像は、少なくとも1つのカメラモジュールからの画像である、受信モジュールと、第2の情報を生成するように構成される生成モジュールであって、前記第2の情報は、前記第1の情報に基づいて生成される前記初期の運転可能な領域のレーダ検出情報を含む、生成モジュールと、前記第2の情報を送信するように構成される送信モジュールと、を含む。

この実装によって提供される装置は、最初に、第1の情報を受信し、その次に、第1の情報に基づいて、初期の運転可能な領域のレーダ検出情報を含む第2の情報を生成し、そして、最後に、運転可能な領域情報を取得するための装置に第2の情報を送信する。この実装によって提供される装置によれば、レーダは、運転可能な領域情報を取得する装置に、初期の運転可能な領域のレーダ検出情報を送信しさえすればよく、それによって、データ伝送量は、比較的少なくなり、その後に、第1の情報及び第2の情報に基づいて、第1の運転可能な領域情報を決定するときに、融合する必要があるデータ量は、比較的小さくなり、演算量は、比較的少なくなるということを理解することが可能である。したがって、運転可能な領域情報を決定する効率を改善することが可能である。

第5の態様によれば、この出願のある1つの実施形態は、装置を提供する。その装置は、プロセッサを含み、そのプロセッサは、メモリに結合するように構成され、そのプロセッサは、メモリの中の命令を読み取るように構成され、それによって、その装置は、それらの命令にしたがって、第1の態様、第2の態様、第1の態様の可能な実装、及び第2の態様の可能な実装のうちのいずれか1つにしたがった方法を実行する。

第6の態様によれば、この出願のある1つの実施形態は、コンピュータ記憶媒体を提供する。そのコンピュータ記憶媒体は、命令を格納し、それらの命令がコンピュータによって実行されるときに、そのコンピュータが、第1の態様、第2の態様、第1の態様の可能な実装、及び第2の態様の可能な実装のうちのいずれか1つにしたがった方法の複数のステップのうちの一部又はすべてを実行することを可能とする。

第7の態様によれば、この出願のある1つの実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータによって実行されるときに、そのコンピュータが、第1の態様、第2の態様、第1の態様の可能な実装、及び第2の態様の可能な実装のうちのいずれか1つにしたがった方法の複数のステップのうちの一部又はすべてを実行することを可能とする。

取得される運転可能な領域情報が正確ではないという問題を解決するために、この出願のそれらの複数の実施形態は、運転可能な領域情報を決定するための方法及び装置を提供する。この方法においては、最初に、第1の情報を取得し、その第1の情報は、画像に基づいて決定される初期の運転可能な領域に関する情報を含み、その次に、レーダ検出情報を含む第2の情報を取得し、そして、最後に、第1の情報及び第2の情報に基づいて、第1の運転可能な領域情報を決定する。この出願によって提供される運転可能な領域情報を決定する方法にしたがって取得される第1の運転可能な領域情報は、画像情報及びレーダ検出情報を融合することによって取得され、高い精度を有し、また、例えば、カメラ装置が影又は障害物が存在する環境にあるとき、レーザーレーダが天候の影響を受けているとき、或いは、車載型のレーダが雑音信号の影響を受けているとき等、カメラ装置及びレーダ装置のうちの一方が実行する検出が正確ではないときに、カメラ装置及びレーダ装置のうちの他方の検出情報を使用することによって、第1の運転可能な領域情報の精度を改善することが可能であり、車両走行の安全性を保証する。

この出願にしたがった運転可能な領域情報を決定するためのシステムの実装の構成上のブロック図である。 この出願にしたがった運転可能な領域情報を決定するためのシステムの他の実装の構成上のブロック図である。 この出願にしたがった運転可能な領域情報を決定するための方法の実装の概略的なフローチャートである。 この出願にしたがって第1の情報を取得するための方法の実装の概略的なフローチャートである。 この出願にしたがって第1の情報を取得するための方法の他の実装の概略的なフローチャートである。 この出願にしたがって第1の情報を取得するための方法の他の実装の概略的なフローチャートである。 この出願にしたがって第2の情報を取得するための方法の実装の概略的なフローチャートである。 この出願にしたがって第2の情報を取得するための方法の他の実装の概略的なフローチャートである。 この出願にしたがって第2の情報を取得するための方法の他の実装の概略的なフローチャートである。 この出願にしたがって第2の情報を取得するための方法の他の実装の概略的なフローチャートである。 この出願にしたがって第2の情報を取得するための方法の他の実装の概略的なフローチャートである。 この出願にしたがって第1の情報及び第2の情報に基づいて第1の運転可能な領域情報を決定するための方法の実装の概略的なフローチャートである。 この出願にしたがって第1の情報及び第2の情報に基づいて第1の運転可能な領域情報を決定するための方法の他の実装の概略的なフローチャートである。 この出願にしたがって第1の情報及び第2の情報に基づいて第1の運転可能な領域情報を決定するための方法の他の実装の概略的なフローチャートである。 この出願にしたがって運転可能な領域情報を決定するための装置の実装の構成上のブロック図である。 この出願にしたがって運転可能な領域情報を決定するための装置の他の実装の構成上のブロック図である。

以下の記載は、複数の添付の図面を参照して、この出願の技術的解決方法を説明する。

最初に、この出願によって提供される運転可能な領域情報を決定するためのシステムを説明することとし、そのシステムの中で、この出願によって提供される運転可能な領域情報を決定するための方法を実装することが可能である。

図1は、この出願にしたがって運転可能な領域情報を決定するためのシステムの実装の構成上のブロック図である。図2は、この出願にしたがって運転可能な領域情報を決定するためのシステムの他の実装の構成上のブロック図である。図1又は図2を参照すると、システム100は、カメラモジュール10、レーダ20、及び融合モジュール30を含んでいてもよいということを理解することが可能である。少なくとも1つのカメラモジュール10が存在し、そのカメラモジュール10は、車両が位置している運転環境の画像を撮影し、そして、その撮影された画像に基づいて、初期の運転可能な領域に関する情報を決定するように構成されてもよい。レーダ20は、レーザーレーダ又は車載型のレーダであってもよく、車両が位置している運転環境においてレーザー又は電磁波を伝送し、そして、レーザー又は電磁波のエコーに基づいて、レーダ検出情報を生成するように構成されてもよい。融合モジュール30は、カメラモジュール10が決定する初期の運転可能な領域についての情報及びレーダ20が生成するレーダ検出情報を融合して、車両の運転可能な領域情報を取得するように構成されてもよく、それによって、車両が、その運転可能な領域情報に基づいて走行するときに、安全性は高くなる。融合モジュール30は、(図1に示されているように)個別に配置されてもよく、又は、(図2に示されているように)カメラモジュール10の中に配置されてもよい。

当業者は、図1又は図2に示されている運転可能な領域情報を決定するためのシステムの構成は、この出願における運転可能な領域情報を決定するためのシステムに対する限定を構成するものではないということを理解することが可能である。この出願における運転可能な領域情報を決定するためのシステムは、図に示されている構成要素よりも多くの構成要素又はより少ない構成要素を含んでもよく、或いは、それらの複数の構成要素のうちのいくつかを組み合わせてもよく、或いは、システムは、複数の異なる構成要素の配列を有してもよい。ハードウェア、ソフトウェア、又は、ソフトウェア及びハードウェアの組み合わせによって、図に示されているそれらの複数の構成要素を実装してもよい。

以下の記載は、この出願によって提供される運転可能な領域情報を決定するための方法の複数の実施形態を説明する。

図3は、この出願にしたがって運転可能な領域情報を決定するための方法の実装の概略的なフローチャートである。その方法は、個別に配置される融合モジュールによって実行されてもよく又は融合モジュールをその内部に備えるカメラモジュールによって実行されてもよい。図3を参照すると、その方法は、以下のステップを含むということを理解することが可能である。

ステップ101: 第1の情報を取得する。

第1の情報は、少なくとも1つの画像に基づいて決定される初期の運転可能な領域に関する情報を含み、少なくとも1つの画像は、少なくとも1つのカメラモジュールからの画像である。さらに、第1の情報の具体的な内容については、以降の実施形態の内容を参照すべきである。

第1の情報は、複数の実装にしたがって取得されてもよい。図3に示されている方法が、図4に示されているように、融合モジュールをその内部に備えるカメラモジュールによって実行されるときに、第1の情報を取得するステップは、以下の複数のステップにしたがって実装されてもよい。

ステップ201: カメラモジュールは、検出されるべき領域の画像を撮影する。

検出されるべき領域は、車両が位置していて運転可能な領域情報が決定されるべき運転環境の中に存在する検出領域である。言い換えると、車両が位置している運転環境の中で、運転可能な領域情報を決定する必要がある検出領域を、検出されるべき領域であると決定してもよい。例えば、車両の目前にある検出領域の中の運転可能な領域情報を決定する必要があるときに、その車両の目前にあるその検出領域を、検出されるべき領域であると決定してもよく、又は、車両の背後にある検出領域の中の運転可能な領域情報を決定する必要があるときに、その車両の背後にある検出領域を、検出されるべき領域であると決定してもよい。類推によって、その車両が位置している運転環境の中の他の検出領域の中の運転可能な領域情報を決定する必要があるときに、その検出領域は、検出されるべき領域であると決定されてもよい。本明細書の中では、複数の例を1つずつは記載しない。

検出されるべき領域の1つ又は複数の画像が存在してもよい。検出されるべき領域の複数の画像が存在する場合に、それらの複数の画像は、1つのカメラモジュールによって撮影されてもよく又は複数のカメラモジュールによって撮影されてもよい。

ステップ202: カメラモジュールは、画像を分類し及び識別して、検出されるべき領域の画像情報を取得する。

選択的に、カメラモジュールは、セマンティックセグメンテーションアルゴリズム又はCNNに基づくインスタンスセグメンテーションアルゴリズムを使用することによって、画像を分類し及び識別して、検出されるべき領域の画像情報を取得してもよい。検出されるべき領域の画像情報は、検出されるべき領域に対応するm個のピクセルに関する情報を含み、それらのm個のピクセルに関する情報は、ピクセル座標系の中で、[(a₁,b₁,c₁),(a₂,b₂,c₂),…,(a_i,b_i,c_i),…,(a_m,b_m,c_m)]として表されてもよく、a_i及びb_iは、検出されるべき領域に対応するi番目のピクセルの位置座標を示し、c_iは、i番目のピクセルのカテゴリを示し、mは、1以上の整数である。

検出されるべき領域の画像情報は、代替的に、車両座標系によって又はワールド座標系によって表現されるように変換されてもよいということに留意すべきである。

ステップ203: カメラモジュールは、画像情報に基づいて第1の情報を決定し、第1の情報は、初期の運転可能な領域に関する情報を含む。

検出されるべき領域の画像情報を取得した後に、カメラモジュールは、その画像情報の中の各々のピクセルに対応するカテゴリに基づいて、カテゴリが"運転可能な"であるピクセルのすべてに関する情報を、初期の運転可能な領域に関する情報であると決定し、それに対応して、カテゴリが"運転可能な"であるピクセルのすべてを含む領域を初期の運転可能な領域であると決定する。

初期の運転可能な領域に関する情報は、複数の方式によって表されてもよい。複数の例を以下に示す。

方式1: 初期の運転可能な領域に関する情報は、その初期の運転可能な領域に対応するn個のピクセルに関する情報を含み、それらのn個のピクセルに関する情報は、ピクセル座標系の中で、[(d₁,e₁),(d₂,e₂),…,(d_i,e_i),…,(d_n,e_n)]として表されてもよく、d_i及びe_iは、初期の運転可能な領域に対応するi番目のピクセルの座標を示し、nは、1以上の整数であり、nは、m以下である。

方式2: 初期の運転可能な領域に関する情報は、その初期の運転可能な領域の境界情報を使用することによって表されてもよい。境界情報は、f個のピクセルに関する情報を含み、それらのf個のピクセルに関する情報は、ピクセル座標系の中で、[(u₁,h₁),(u₂,h₂),(u₃,h₃),…,(u_i,h_i),…,(u_f,h_f)]として表されてもよく、u_i、h_iは、境界情報の中のi番目のピクセルの位置座標を示し、fは、1以上の整数であり、fは、n以下である。

方式3: 初期の運転可能な領域に関する情報は、その初期の運転可能な領域の境界情報を使用することによって表されてもよい。その境界情報は、r個のピクセルに関する情報を含み、それらのr個のピクセルに関する情報は、ピクセル座標系の中で、[step,(g₁,k₁),k₂,k₃,…,k_i,…,k_r]又は[step,(g₁,k₁),k₂,k₃,…,k_i,…,k_r,method]として表されてもよく、g₁、k₁は、境界情報の中の最初のピクセルの位置座標を示し、k_iは、境界情報の中のi番目のピクセルの垂直座標を示し、i番目のピクセルの水平座標は、stepに基づいて取得され、そのstepは、i番目のピクセルの水平座標と(i＋1)番目のピクセルの水平座標との間の間隔ステップを示し、i番目のピクセルの水平座標と(i－1)番目のピクセルの水平座標との間の間隔ステップは、i番目のピクセルの水平座標と(i＋1)番目のピクセルの水平座標との間の間隔ステップと同じであり、その方法は、すべての間隔ステップの間の接続関係を示し、rは、1以上の整数であり、rは、nよりも小さい。

方式4: 初期の運転可能な領域に関する情報は、その初期の運転可能な領域の境界情報を使用することによって表されてもよい。境界情報は、s個のピクセルに関する情報を含み、それらのs個のピクセルに関する情報は、ピクセル座標系の中で、[(p₁,q₁),(p₂,q₂),(p₃,q₃),…,(p_i,q_i),…,(p_s,q_s),method]と表されてもよく、p_i、q_iは、境界情報の中のi番目のピクセルの位置座標を示し、i番目のピクセルの水平座標と(i＋1)番目のピクセルの水平座標との間に間隔ステップが存在し、i番目のピクセルの水平座標と(i－1)番目のピクセルの水平座標との間の間隔ステップは、i番目のピクセルの水平座標と(i＋1)番目のピクセルの水平座標との間の間隔ステップとは異なり、その方法は、すべての間隔ステップの間の接続関係を示し、sは、1以上の整数であり、sは、nよりも小さい。

方式3又は方式4にしたがった方法は、複数の方式に設定されてもよい。例えば、その方法は、線形補間、2次補間、3次スプライン補間、又は形状保存の区分的な3次補間に設定されてもよい。

代替的に、車両座標系によって又はワールド座標系によって表されるように、初期の運転可能な領域に関する情報を変換してもよいということに留意すべきである。

図4に示されている方法を使用して、第1の情報を取得するときには、融合モジュールは、カメラモジュールの中に配置されているため、第1の情報は、融合モジュールによって直接的に取得され、それによって、データ伝送量を減少させるとともに、その後に、運転可能な領域情報を決定する効率を改善することが可能である。

図3に示されている方法が、図5に示されているように、個別に配置される融合モジュールによって実行されるときに、第1の情報を取得するステップは、代替的に、以下のステップにしたがって実装されてもよい。

ステップ301: カメラモジュールは、検出されるべき領域の画像を撮影する。

ステップ302: カメラモジュールは、画像を分類し及び識別して、検出されるべき領域の画像情報を取得する。

ステップ301及びステップ302の具体的な実装については、図4に示されている実施形態の中のステップ201及びステップ202を参照すべきである。本明細書においては、詳細は繰り返しては説明されない。

ステップ303: カメラモジュールは、融合モジュールに画像情報を送信する。

ステップ304: 融合モジュールは、カメラモジュールが送信する画像情報を受信する。

ステップ305: 融合モジュールは、画像情報に基づいて第1の情報を決定し、第1の情報は、初期の運転可能な領域に関する情報を含む。

ステップ305の具体的な実装については、図4に示されている実施形態の中のステップ203を参照すべきである。本明細書においては、詳細は繰り返しては説明されない。

図5に示されている方法を使用して、第1の情報を取得するときに、カメラモジュールの中のデータ計算量を減少させることが可能であるとともに、カメラモジュールのオーバーヘッドを減少させることが可能であり、それにより、カメラモジュールのリソースを節約することが可能である。

図3に示されている方法が、図6に示されているように、個別に配置される融合モジュールによって実行されるときに、第1の情報を取得するステップは、代替的に、以下のステップにしたがって実装されてもよい。

ステップ401: カメラモジュールは、検出されるべき領域の画像を撮影する。

ステップ402: カメラモジュールは、画像を分類し及び識別して、検出されるべき領域の画像情報を取得する。

ステップ403: カメラモジュールは、画像情報に基づいて第1の情報を決定し、第1の情報は、初期の運転可能な領域に関する情報を含む。

ステップ401乃至ステップ403の具体的な実装については、図4に示されている実施形態の中のステップ201乃至ステップ203を参照すべきである。本明細書においては、詳細は繰り返しては説明されない。

ステップ404: カメラモジュールは、融合モジュールに第1の情報を送信する。

カメラモジュールが融合モジュールに第1の情報を送信するときに、上記の方式2乃至方式4のうちのいずれかによって、第1の情報の中に含まれる初期の運転可能な領域に関する情報を表す場合には、データ伝送量を減少させることが可能であるとともに、その後に、運転可能な領域情報を決定する効率を改善することが可能である。

ステップ405: 融合モジュールは、カメラモジュールが送信する第1の情報を受信する。

図6に示されている方法を使用して、第1の情報を取得するときに、融合モジュールにおけるデータ計算量を減少させることが可能であるとともに、融合モジュールのオーバーヘッドを減少させることが可能であり、それにより、融合モジュールのリソースを節約することが可能である。

ステップ102: 第2の情報を取得する。

第2の情報は、レーダ検出情報を含む。さらに、第2の情報の具体的な内容については、以降の実施形態の内容を参照すべきである。

第2の情報は、複数の実装にしたがって取得されてもよい。図7に示されているように、第2の情報を取得するステップは、以下のステップにしたがって実装されてもよい。

ステップ501: レーダは、検出されるべき領域を検出して、第2の情報を取得し、第2の情報は、検出されるべき領域のレーダ検出情報を含む。

レーダは、レーザーレーダであってもよく又は車載型のレーダであってもよい。検出されるべき領域にレーザー又は電磁波を伝送した後に、レーダは、レーザー又は電磁波のエコーを使用することによって、検出されるべき領域のレーダ検出情報を取得してもよい。

検出されるべき領域のレーダ検出情報は、検出されるべき領域に対応するt個の目標点に関する情報を含み、それらのt個の目標点に関する情報は、車両座標系又はワールド座標系の中で、[(X₁,Y₁),(X₂,Y₂),…,(X_i,Y_i),…,(X_t,Y_t)]又は[(X₁,Y₁,R₁),(X₂,Y₂,R₂),…,(X_i,Y_i,R_i),…,(X_t,Y_t,R_t)]として表されてもよく、X_i及びY_iは、検出されるべき領域に対応するi番目の目標点の位置座標情報を示し、R_iは、i番目の目標点の位置座標の共分散情報を示し、tは、1以上の整数である。

ステップ502: レーダは、運転可能な領域情報を取得するための装置に、第2の情報を送信する。

ステップ503: 運転可能な領域情報を取得するための装置は、レーダが送信する第2の情報を受信する。

図3に示されている方法が、個別に配置される融合モジュールによって実行されるときに、図7に示されている実施形態においては、運転可能な領域情報を取得するための装置は、個別に配置される融合モジュールである。図3に示されている方法が、その内部に融合モジュールを備えるカメラモジュールによって実行されるときに、図7に示されている実施形態においては、運転可能な領域情報を取得するための装置は、その内部に融合モジュールを備えるカメラモジュールである。

図7に示されている方法を使用して、第2の情報を取得するときに、レーダにおけるデータ計算量を減少させることが可能であるとともに、レーダのオーバーヘッドを減少させることが可能であり、それにより、レーダのリソースを節約することが可能である。

図7に示されている実装を使用して、第2の情報を取得するときに、レーダは、運転可能な領域情報を取得するための装置に、検出されるべき領域のレーダ検出情報を送信する必要があり、その結果、データ伝送量は、比較的大きくなり、その後、第1の情報及び第2の情報に基づいて、運転可能な領域情報を決定するときに、融合する必要があるデータ量は、相対的に大きくなり、演算量は、相対的に大きくなる。したがって、運転可能な領域情報を決定する効率は、比較的低くなる。この問題を解決するために、図8A及び図8Bに示されているように、第2の情報を取得するステップは、代替的に、以下のステップにしたがって実装されてもよい。

ステップ601: カメラモジュールは、検出されるべき領域の画像を撮影する。

ステップ602: カメラモジュールは、画像を分類し及び識別して、検出されるべき領域の画像情報を取得する。

ステップ603: カメラモジュールは、画像情報に基づいて第1の情報を決定し、第1の情報は、初期の運転可能な領域に関する情報を含む。

ステップ601乃至ステップ603の具体的な実装形態については、図4に示されている実施形態の中のステップ201乃至ステップ203を参照すべきである。本明細書においては、詳細は繰り返しては説明されない。

ステップ604: カメラモジュールは、レーダに第1の情報を送信する。

カメラモジュールが、レーダに、初期の運転可能な領域に関する情報を含む第1の情報を送信するときに、車両座標系又はワールド座標系の中で表されるように、初期の運転可能な領域に関する情報を変換する必要がある。

ステップ605: レーダは、カメラモジュールが送信する第1の情報を受信する。

ステップ606: レーダは、検出されるべき領域を検出して、検出されるべき領域のレーダ検出情報を取得する。

ステップ606の具体的な実装については、図7に示されている実施形態の中のステップ501を参照すべきである。本明細書においては、詳細は繰り返しては説明されない。

ステップ607: レーダは、第1の情報に基づいて第2の情報を決定し、第2の情報は、レーダ検出情報の中に含まれる初期の運転可能な領域の検出情報である。

ステップ608: レーダは、運転可能な領域情報を取得するための装置に、第2の情報を送信する。

ステップ609: 運転可能な領域情報を取得するための装置は、レーダが送信する第2の情報を受信する。

図3に示されている方法が、個別に配置される融合モジュールによって実行されるときに、図8A及び図8Bに示されている実施形態においては、運転可能な領域情報を取得するための装置は、個別に配置される融合モジュールである。図3に示されている方法が、その内部に融合モジュールを備えるカメラモジュールによって実行されるときに、図8A及び図8Bに示されている実施形態においては、運転可能な領域情報を取得するための装置は、その内部に融合モジュールを備えるカメラモジュールである。

図8A及び図8Bに示されている実施形態においては、ステップ605及びステップ606の実行順序を変更してもよい。言い換えると、ステップ605は、ステップ606の前に実行されてもよく、又は、ステップ606は、ステップ605の前に実行されてもよい。このことは、この出願においては限定されない。

図8A及び図8Bに示されている方法を使用して、第2の情報を取得するときに、レーダは、運転可能な領域情報を取得するための装置に、初期の運転可能な領域の検出情報を送信しさえすればよく、それによって、データ伝送量は、比較的小さくなり、その後に、第1の情報及び第2の情報に基づいて運転可能な領域情報を決定するときに、融合する必要があるデータ量は、比較的小さくなり、計算量は、比較的小さくなる。したがって、運転可能な領域情報を決定する効率を改善することが可能である。

図9A及び図9Bに示されているように、第2の情報を取得するステップは、代替的に、以下のステップにしたがって実装されてもよい。

ステップ701: カメラモジュールは、検出されるべき領域の画像を撮影する。

ステップ702: カメラモジュールは、画像を分類し及び識別して、検出されるべき領域の画像情報を取得する。

ステップ703: カメラモジュールは、画像情報に基づいて第1の情報を決定し、第1の情報は、初期の運転可能な領域に関する情報を含む。

ステップ701乃至ステップ703の具体的な実装については、図4に示されている実施形態の中のステップ201乃至ステップ203を参照すべきである。本明細書においては、詳細は繰り返しては説明されない。

ステップ704: カメラモジュールは、レーダに第1の情報を送信する。

カメラモジュールが、レーダに初期の運転可能な領域に関する情報を含む第1の情報を送信するときに、車両座標系又はワールド座標系の中で表されるように、初期の運転可能な領域に関する情報を変換する必要がある。

ステップ705: レーダは、カメラモジュールが送信する第1の情報を受信する。

ステップ706: レーダは、第1の情報に基づいて、初期の運転可能な領域を検出して、第2の情報を取得し、第2の情報は、初期の運転可能な領域のレーダ検出情報を含む。

ステップ706の具体的な実装については、図7に示されている実施形態の中のステップ501を参照すべきである。本明細書においては、詳細は繰り返しては説明されない。

ステップ707: レーダは、運転可能な領域情報を取得するための装置に、第2の情報を送信する。

ステップ708: 運転可能な領域情報を取得するための装置は、レーダが送信する第2の情報を受信する。

図3に示されている方法が、個別に配置される融合モジュールによって実行されるときに、図9A及び図9Bに示されている実施形態においては、運転可能な領域情報を取得するための装置は、個別に配置される融合モジュールである。図3に示されている方法が、その内部に融合モジュールを備えるカメラモジュールによって実行されるときに、図9A及び図9Bに示されている実施形態においては、運転可能な領域情報を取得するための装置は、その内部に融合モジュールを備えるカメラモジュールである。

図9A及び図9Bに示されている方法を使用して、第2の情報を取得するときに、レーダは、運転可能な領域情報を取得するための装置に、初期の運転可能な領域の検出情報を送信しさえすればよく、それによって、データ伝送量は、比較的小さくなり、その後に、第1の情報及び第2の情報に基づいて運転可能な領域情報を決定するときに、融合する必要があるデータ量は、比較的小さくなり、計算量は、比較的小さくなる。したがって、運転可能な領域情報を決定する効率を改善することが可能である。

ステップ103: 第1の情報及び第2の情報に基づいて、第1の運転可能な領域情報を決定する。

図3に示されている方法が、個別に配置される融合モジュール又はその内部に融合モジュールを備えるカメラモジュールによって実行されるときに、第1の情報及び第2の情報に基づいて第1の運転可能な領域情報を決定するステップは、第1の情報及び第2の情報を融合し、そして、第1の情報及び第2の情報を融合した後に生成される情報を第1の運転可能な領域情報であると決定するという方式によって実装されてもよい。

第1の運転可能な領域情報の精度をさらに改善するために、第1の情報及び第2の情報に基づいて第1の運転可能な領域情報を決定するステップは、代替的に、以下の2つの方式によって実装されてもよい。

第1の方式の場合には、図3に示されている方法は、その内部に融合モジュールを備えるカメラモジュールによって実行され、図10に示されているように、第1の情報及び第2の情報に基づいて第1の運転可能な領域情報を決定するステップは、以下のステップにしたがって実装されてもよい。

ステップ801: 融合モジュールは、第1の情報及び第2の情報に基づいて、関心領域が存在するか否かを決定する。

融合モジュールは、例えば、ベイズアルゴリズム等の統計的融合アルゴリズムを使用することによって、第1の情報及び第2の情報を融合し、その融合の結果に基づいて、初期の運転可能な領域の中に、疑わしい検出結果を有する領域、すなわち、正確でない検出結果を有する領域が存在するか否かを決定する。この出願のこの実施形態においては、疑わしい検出結果を有する領域は、簡潔にするために、関心領域(region of interest, ROI)と称される。

ステップ802: 融合モジュールが、関心領域が存在しないということを決定する場合に、融合モジュールは、ステップ804を実行する。

ステップ803: 融合モジュールが、関心領域が存在するということを決定する場合に、融合モジュールは、ステップ805を実行する。

ステップ804: 融合モジュールは、第1の情報及び第2の情報を融合し、そして、第1の情報及び第2の情報を融合した後に得られる情報を、第1の運転可能な領域情報であると決定する。

ステップ805: 融合モジュールは、第1の情報及び第2の情報を融合し、そして、第1の情報及び第2の情報を融合した後に得られる情報を、第2の運転可能な領域情報であると決定する。

ステップ806: 融合モジュールは、関心領域の領域情報を決定する。

融合モジュールは、ステップ801において得られる融合の結果に基づいて、関心領域の領域情報を決定してもよい。

ステップ807: カメラモジュールは、融合モジュールが決定する関心領域の領域情報に基づいて、関心領域を検出して、関心領域の検出結果を取得する。

カメラモジュールは、関心領域の領域情報に基づいて、再度、検出されるべき領域の画像を分類し及び識別し、その分類及び識別の結果に基づいて、関心領域に対応するピクセルのカテゴリが、"運転可能な"であるか否かを決定し、そして、その関心領域が、車両が走行することが可能である領域であるか否かを決定する。

このことに基づいて、関心領域の検出結果は、その関心領域が、車両が走行することが可能である領域であるということ、又は、その関心領域が、車両が走行することが不可能である障害物領域であるということを含む。

選択的に、ステップ807を実行するときに、カメラモジュールは、セマンティックセグメンテーションアルゴリズム又はCNNに基づくインスタンスセグメンテーションアルゴリズムを使用することによって、検出されるべき領域の画像を分類し及び識別してもよく、或いは、例えば、サポートベクトルマシン(SVM)分類器又はAdaBoost分類器等の比較的単純な他の分類器を使用することによって、検出されるべき領域の画像を分類し及び識別してもよい。

ステップ808: 融合モジュールは、第2の運転可能な領域情報及び関心領域の検出結果に基づいて、第1の運転可能な領域情報を決定する。

関心領域の検出結果が、その関心領域が、車両が走行することが可能である領域であるということである場合に、融合モジュールは、第2の運転可能な領域情報を第1の運転可能な領域情報であると決定する。代替的に、関心領域の検出結果が、その関心領域が、車両が走行することが不可能である障害物領域であるということである場合に、融合モジュールは、その関心領域の領域情報以外の第2の運転可能な領域情報の中の情報を第1の運転可能な領域情報であると決定する。

図10に示されている方法を使用して、第1の運転可能な領域情報を決定するときに、第1の運転可能な領域情報を決定するステップは、より正確であり、そして、車両がその後に第1の運転可能な領域情報に基づいて走行するときに、安全性はより高くなる。

第2の方式の場合には、図3に示されている方法は、個別に配置される融合モジュールによって実行され、図11A及び図11Bに示されているように、第1の情報及び第2の情報に基づいて第1の運転可能な領域情報を決定するステップは、以下のステップにしたがって実装されてもよい。

ステップ901: 融合モジュールは、第1の情報及び第2の情報に基づいて、関心領域が存在するか否かを決定する。

ステップ901の具体的な実装については、図10に示されている実施形態のステップ801を参照すべきである。本明細書においては、詳細は繰り返しては説明されない。

ステップ902: 融合モジュールが、関心領域が存在しないということを決定する場合に、融合モジュールは、ステップ904を実行する。

ステップ903: 融合モジュールが、関心領域が存在するということを決定する場合に、融合モジュールは、ステップ905を実行する。

ステップ904: 融合モジュールは、第1の情報及び第2の情報を融合し、そして、第1の情報及び第2の情報を融合した後に得られる情報を第1の運転可能な領域情報であると決定する。

ステップ905: 融合モジュールは、第1の情報及び第2の情報を融合し、そして、第1の情報及び第2の情報を融合した後に得られる情報を第2の運転可能な領域情報であると決定する。

ステップ906: 融合モジュールは、関心領域の領域情報を決定する。

ステップ906の具体的な実装については、図10に示されている実施形態の中のステップ806を参照すべきである。本明細書においては、詳細は繰り返しては説明されない。

ステップ907: 融合モジュールは、カメラモジュールに関心領域の領域情報を送信する。

ステップ908: カメラモジュールは、融合モジュールが送信する関心領域の領域情報を受信する。

ステップ909: カメラモジュールは、関心領域の領域情報に基づいて関心領域を検出して、関心領域の検出結果を取得する。

ステップ909の具体的な実装については、図10に示されている実施形態の中のステップ807を参照すべきである。本明細書においては、詳細は繰り返しては説明されない。

ステップ910: カメラモジュールは、融合モジュールに関心領域の検出結果を送信する。

ステップ911: 融合モジュールは、カメラモジュールが送信する関心領域の検出結果を受信する。

ステップ912: 融合モジュールは、第2の運転可能な領域情報及び関心領域の検出結果に基づいて、第1の運転可能な領域情報を決定する。

ステップ912の具体的な実装については、図10に示されている実施形態の中のステップ808を参照すべきである。本明細書においては、詳細は繰り返しては説明されない。

図11A及び図11Bに示されている方法を使用して、第1の運転可能な領域情報を決定するときに、第1の運転可能な領域情報を決定するステップは、より正確であり、そして、車両がその後に第1の運転可能な領域情報に基づいて走行するときに、安全性はより高くなる。

この出願によって提供される運転可能な領域情報を決定するための方法によれば、最初に、第1の情報を取得し、その第1の情報は、画像に基づいて決定される初期の運転可能な領域に関する情報を含み、その次に、レーダ検出情報を含む第2の情報を取得し、そして、最後に、第1の情報及び第2の情報に基づいて、第1の運転可能な領域情報を決定する。この出願によって提供される運転可能な領域情報を決定する方法にしたがって取得される第1の運転可能な領域情報は、画像情報及びレーダ検出情報を融合することによって取得され、高い精度を有し、また、例えば、カメラ装置が影又は障害物が存在する環境にあるとき、レーザーレーダが天候の影響を受けているとき、或いは、車載型のレーダが雑音信号の影響を受けているとき等、カメラ装置及びレーダ装置のうちの一方が実行する検出が正確ではないときに、カメラ装置及びレーダ装置のうちの他方の検出情報を使用することによって、第1の運転可能な領域情報の精度を改善することが可能であり、車両走行の安全性を保証する。

以下の記載は、上記の方法の実施形態に対応する装置の実施形態を説明する。

図12は、この出願にしたがって運転可能な領域情報を決定するための装置の実装の構成上のブロック図である。図12を参照すると、装置1200は、
第1の情報を取得するように構成される取得モジュール1201であって、第1の情報は、少なくとも1つの画像に基づいて決定される初期の運転可能な領域に関する情報を含み、少なくとも1つの画像は、少なくとも1つのカメラモジュールからの画像であり、取得モジュール1201は、さらに、第2の情報を取得するように構成され、第2の情報は、レーダ検出情報を含む、取得モジュールと、第1の情報及び第2の情報に基づいて、第1の運転可能な領域情報を決定するように構成される決定モジュール1202と、を含むということを理解することが可能である。

この出願によって提供される装置は、最初に、第1の情報を取得し、その第1の情報は、画像に基づいて決定される初期の運転可能な領域に関する情報を含み、その次に、レーダ検出情報を含む第2の情報を取得し、そして、最後に、第1の情報及び第2の情報に基づいて、第1の運転可能な領域情報を決定する。この出願によって提供される運転可能な領域情報を決定する方法によって取得される第1の運転可能な領域情報は、画像情報及びレーダ検出情報を融合することによって取得され、高い精度を有し、また、例えば、カメラ装置が影又は障害物が存在する環境にあるとき、レーザーレーダが天候の影響を受けているとき、或いは、車載型のレーダが雑音信号の影響を受けているとき等、カメラ装置及びレーダ装置のうちの一方が実行する検出が正確ではないときに、カメラ装置及びレーダ装置のうちの他方の検出情報を使用することによって、第1の運転可能な領域情報の精度を改善することが可能であり、車両走行の安全性を保証する。

選択的に、レーダ検出情報は、初期の運転可能な領域の検出情報を含む。

選択的に、決定モジュール1202は、さらに、第1の情報及び第2の情報に基づいて、関心領域が存在するか否かを決定するように構成される。

選択的に、決定モジュール1202は、さらに、関心領域が存在するということを決定するように構成され、取得モジュール1201は、さらに、第2の運転可能な領域情報及び関心領域の領域情報を取得するように構成され、取得モジュール1201は、さらに、関心領域の領域情報に基づいて、関心領域の検出結果を取得するように構成され、決定モジュール1202は、さらに、第2の運転可能な領域情報及び関心領域の検出結果に基づいて、第1の運転可能な領域情報を決定するように構成される。

選択的に、初期の運転可能な領域に関する情報は、初期の運転可能な領域に対応する少なくとも1つのピクセルに関する情報を含むか、又は、初期の運転可能な領域に関する情報は、初期の運転可能な領域の境界情報によって示される。

選択的に、レーダ検出情報は、位置座標情報を含むか、又は、レーダ検出情報は、位置座標情報及び位置座標の共分散情報を含む。

図12に示されている実施形態によって提供される装置1200は、個別に配置される融合モジュールであってもよく、又は、その内部に融合モジュールを備えるカメラモジュールであってもよい。装置1200は、図3に示されている実施形態によって提供される方法を実装するのに使用されてもよく、同じ有益な効果が達成される。

図13は、この出願にしたがって運転可能な領域情報を決定するための装置の他の実装の構成上のブロック図である。図13を参照すると、装置1300は、
第1の情報を受信するように構成される受信モジュール1301であって、第1の情報は、少なくとも1つの画像に基づいて決定される初期の運転可能な領域に関する情報を含み、少なくとも1つの画像は、少なくとも1つのカメラモジュールからの画像である、受信モジュール1301と、
第2の情報を生成するように構成される生成モジュール1302であって、第2の情報は、第1の情報に基づいて生成される初期の運転可能な領域のレーダ検出情報を含む、生成モジュール1302と、
第2の情報を送信するように構成される送信モジュール1303と、を含むということを理解することが可能である。

この実装によって提供される装置は、最初に、第1の情報を受信し、その次に、第1の情報に基づいて、初期の運転可能な領域のレーダ検出情報を含む第2の情報を生成し、そして、最後に、運転可能な領域情報を取得するための装置に第2の情報を送信する。この実装によって提供される装置によれば、レーダは、運転可能な領域情報を取得するための装置に、初期の運転可能な領域のレーダ検出情報を送信しさえすればよく、それによって、データ伝送量は、比較的小さくなり、その後に、第1の情報及び第2の情報に基づいて、第1の運転可能な領域情報を決定するときに、融合する必要があるデータ量は、比較的少なくなり、計算量は、比較的小さくなるということを理解することが可能である。したがって、運転可能な領域情報を決定する効率を改善することが可能である。

具体的な実装の際に、この出願の複数の実施形態は、さらに、コンピュータ記憶媒体を提供し、コンピュータ記憶媒体は、プログラムを格納してもよく、プログラムは、命令を含み、プログラムが実行されるときに、この出願によって提供される運転可能な領域情報を決定するための方法の複数のステップのうちの一部又はすべてを含んでもよい。コンピュータ記憶媒体は、磁気ディスク、光ディスク、読み取り専用メモリ(read-only memory, ROM)、又はランダムアクセスメモリ(random access memory, RAM)等であってもよい。

ソフトウェア、ハードウェア、ファームウェア、又はそれらのいずれかの組み合わせを使用することによって、上記の複数の実施形態のすべて又は一部を実装してもよい。ソフトウェアがそれらの複数の実施形態を実装するのに使用されるときに、コンピュータプログラム製品の形態で、それらの複数の実施形態を全体的に又は部分的に実装してもよい。コンピュータプログラム製品は、1つ又は複数のコンピュータ命令を含む。コンピュータ命令をコンピュータにロードしそしてコンピュータによって実行するときに、この出願にしたがった手順又は機能を完全に又は部分的に生成する。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラム可能な装置であってもよい。コンピュータ命令は、コンピュータ読み取り可能な記憶媒体の中に格納されてもよく、或いは、あるコンピュータ読み取り可能な記憶媒体から他のコンピュータ読み取り可能な記憶媒体に伝送されてもよい。例えば、(例えば、同軸ケーブル、光ファイバ、又はディジタル加入者線(DSL)等の)有線方式によって又は(例えば、赤外線、無線、又はマイクロ波等の)無線方式によって、一方のウェブサイト、コンピュータ、サーバ、又はデータセンターから他方のウェブサイト、コンピュータ、サーバ、又はデータセンターへと、それらの複数のコンピュータ命令を伝送してもよい。コンピュータ読み取り可能な記憶媒体は、コンピュータによってアクセス可能ないずれかの使用可能な媒体、或いは、1つ又は複数の使用可能な媒体を一体化したサーバ又はデータセンター等のデータ記憶デバイスであってもよい。使用可能な媒体は、(例えば、フロッピーディスク、ハードディスク、又は磁気テープ等の)磁気媒体、(例えば、DVD等の)光媒体、或いは、(例えば、ソリッドステートドライブ(solid state disk, SSD)等の)半導体媒体等であってもよい。

この出願のそれらの複数の実施形態において、ステップの実行順序は、ステップの機能及び内部論理に基づいて決定されるべきであり、ステップのシーケンス番号は、実行順序を意味せず、実施形態の実装プロセスに対する制限を構成しないということを理解すべきである。

加えて、この出願の説明の中で、特に明記する場合を除き、"複数の"は、2つ又はそれ以上を意味する。加えて、この出願のそれらの複数の実施形態における技術的解決方法を明確に説明するために、"第1の"及び"第2の"等の語は、この出願のそれらの複数の実施形態においては、基本的に同じ機能及び目的を有する同じ品目又は同様の品目を判別するのに使用される。当業者は、"第1の"及び"第2の"等の語が、数量又は実行順序を制限せず、また、"第1の"及び"第2の"等の語が、明確な差異を示すものではないということを理解することが可能である。

本明細書の中のすべての部分は、漸進的な方式によって説明されている。それらの複数の実施形態の中での同じ部分又は同様の部分については、これらの実施形態を参照すべきであり、各々の実施形態は、他の実施形態との差に焦点を当てている。特に、運転可能な領域情報を決定するための装置の複数の実施形態は、基本的に、方法の実施形態と同様であり、したがって、簡潔に説明される。複数の関連する部分については、複数の方法の実施形態の説明を参照すべきである。

この出願の複数の好ましい実施形態のうちのいくつかを説明してきたが、当業者は、基本的な発明の概念を知ると、これらの実施形態に変更及び修正を行うことが可能である。したがって、以下の特許請求の範囲は、この出願の範囲に属する好ましい実施形態及びすべての変更及び修正を対象とするものと解釈されることを意図している。

この出願の上記の実装は、この出願の保護の範囲を制限することを意図してはいない。

Claims (23)

1. 運転可能な領域情報を決定するための装置によって実行される方法であって、前記装置は、カメラモジュール及び融合モジュールを含み、当該方法は、
   前記カメラモジュールによって第1の情報を取得するステップであって、前記第1の情報は、少なくとも1つの画像に基づいて決定される初期の運転可能な領域に関する情報を含み、前記少なくとも1つの画像は、少なくとも1つのカメラモジュールからの画像であり、
   初期の運転可能な領域に関する前記情報は、前記初期の運転可能な領域に対応する少なくとも1つのピクセルに関する情報を含むか、又は、
   前記初期の運転可能な領域に関する前記情報は、前記初期の運転可能な領域の境界情報によって示される、ステップと、
   前記融合モジュールによって第2の情報を取得するステップであって、前記第2の情報は、レーダ検出情報を含む、ステップと、
   前記融合モジュールによって、前記第1の情報及び前記第2の情報を融合することによって得られる結果に基づいて、前記初期の運転可能な領域の中に関心領域が存在するか否かを決定するステップであって、前記関心領域は、正確でない検出結果を有するとともに、前記第1の情報及び前記第2の情報を融合することによって得られる前記結果に基づいて決定される領域である、ステップと、
   前記融合モジュールが、前記関心領域が存在するということを決定する場合に、
   前記融合モジュールによって、前記第1の情報及び前記第2の情報に基づいて、第2の運転可能な領域情報及び前記関心領域の領域情報を取得するステップと、
   前記融合モジュールによって、前記カメラモジュールから、前記関心領域の検出結果を取得するステップであって、前記関心領域の前記検出結果は、前記関心領域の中に障害物が存在するか否かを示す、ステップと、
   前記融合モジュールによって、前記第2の運転可能な領域情報及び前記関心領域の前記検出結果に基づいて、第2の運転可能な領域のうちで車両が走行することが不可能である障害物領域以外の領域を第1の運転可能な領域として決定するステップであって、前記第1の運転可能な領域は、前記初期の運転可能な領域の中に存在する、ステップと、を含む、
   方法。
2. 前記境界情報は、前記初期の運転可能な領域の境界に対応するf個のピクセルに関する情報を含み、前記f個のピクセルに関する前記情報は、ピクセル座標系の中で、[(u₁,h₁),(u₂,h₂),(u₃,h₃),…,(u_i,h_i),…,(u_f,h_f)]として表され、u_i、h_iは、前記f個のピクセルのうちのi番目のピクセルの位置座標を示し、1≦i≦fであり、fは、1以上の整数である、請求項1に記載の方法。
3. 前記境界情報は、前記初期の運転可能な領域の境界に対応するr個のピクセルに関する情報を含み、前記r個のピクセルに関する前記情報は、ピクセル座標系の中で、[step,(g₁,k₁),k₂,k₃,…,k_i,…,k_r]又は[step,(g₁,k₁),k₂,k₃,…,k_i,…,k_r,step_method]として表され、g₁、k₁は、前記境界情報の中の最初のピクセルの位置座標を示し、k_iは、前記r個のピクセルのうちのi番目のピクセルの垂直座標を示し、1≦i≦rであり、前記i番目のピクセルの水平座標は、前記stepに基づいて取得され、前記stepは、前記i番目のピクセルの前記水平座標と(i＋1)番目のピクセルの水平座標との間の間隔ステップを示し、前記i番目のピクセルの前記水平座標と(i－1)番目のピクセルの水平座標との間の間隔ステップは、前記i番目のピクセルの前記水平座標と前記(i＋1)番目のピクセルの前記水平座標との間の前記間隔ステップと同じであり、前記step_methodは、すべての間隔ステップの間の接続関係を示し、rは、1以上の整数である、請求項1乃至2のうちのいずれか1項に記載の方法。
4. 前記境界情報は、前記初期の運転可能な領域の境界に対応するs個のピクセルに関する情報を含み、前記s個のピクセルに関する前記情報は、ピクセル座標系の中で、[(p₁,q₁),(p₂,q₂),(p₃,q₃),…,(p_i,q_i),…,(p_s,q_s),step_method]として表され、p_i、q_iは、s個のピクセルのうちのi番目のピクセルの位置座標を示し、1≦i≦sであり、前記i番目のピクセルの水平座標と(i＋1)番目のピクセルの水平座標との間に間隔ステップが存在し、前記i番目のピクセルの前記水平座標と(i－1)番目のピクセルの水平座標との間の間隔ステップは、前記i番目のピクセルの前記水平座標と前記(i＋1)番目のピクセルの前記水平座標との間の前記間隔ステップとは異なり、前記step_methodは、すべての間隔ステップの間の接続関係を示し、sは、1以上の整数である、請求項1乃至3のうちのいずれか1項に記載の方法。
5. 前記step_methodは、線形補間、2次補間、3次スプライン補間、又は形状保存の区分的な3次補間に設定される、請求項3乃至4のうちのいずれか1項に記載の方法。
6. 前記レーダ検出情報は、前記初期の運転可能な領域の検出情報を含む、請求項1乃至5のうちのいずれか1項に記載の方法。
7. 前記関心領域を検出する前記ステップは、
   前記融合モジュールによって、前記関心領域に対応する画像情報を分類するステップを含む、請求項1に記載の方法。
8. 前記関心領域の前記検出結果は、前記関心領域が、車両が走行することが可能である領域であるということ、又は、前記関心領域が、車両が走行することが不可能である障害物領域であるということを含む、請求項1乃至7のうちのいずれか1項に記載の方法。
9. 前記融合モジュールによって関心領域が存在しないということを決定するステップと、
   前記融合モジュールによって、前記第1の情報及び前記第2の情報に基づいて、第2の運転可能な領域情報を取得するステップであって、前記第2の運転可能な領域情報は、前記第1の運転可能な領域情報である、ステップと、を含む、請求項1乃至8のうちのいずれか1項に記載の方法。
10. 前記レーダ検出情報は、位置座標情報を含むか、又は、
    前記レーダ検出情報は、位置座標情報及び位置座標の共分散情報を含む、請求項1乃至9のうちのいずれか1項に記載の方法。
11. 運転可能な領域情報を決定するための装置であって、
    第1の情報を取得するように構成される取得モジュールであって、前記第1の情報は、少なくとも1つの画像に基づいて決定される初期の運転可能な領域に関する情報を含み、前記少なくとも1つの画像は、少なくとも1つのカメラモジュールからの画像であり、
    前記初期の運転可能な領域に関する前記情報は、前記初期の運転可能な領域に対応する少なくとも1つのピクセルに関する情報を含むか、又は、
    前記初期の運転可能な領域に関する前記情報は、前記初期の運転可能な領域の境界情報によって示され、
    前記取得モジュールは、さらに、第2の情報を取得するように構成され、前記第2の情報は、レーダ検出情報を含む、取得モジュールと、
    前記第1の情報及び前記第2の情報を融合することによって得られる結果に基づいて、前記初期の運転可能な領域の中に関心領域が存在するか否かを決定するように構成される決定モジュールであって、前記関心領域は、正確でない検出結果を有するとともに、前記第1の情報及び前記第2の情報を融合することによって得られる前記結果に基づいて決定される領域である、決定モジュールと、を含み、
    前記決定モジュールが、前記関心領域が存在するということを決定する場合に、前記決定モジュールは、さらに、
    前記第1の情報及び前記第2の情報に基づいて、第2の運転可能な領域情報及び前記関心領域の領域情報を取得し、
    前記カメラモジュールから、前記関心領域の検出結果を取得し、前記関心領域の前記検出結果は、前記関心領域の中に障害物が存在するか否かを示し、
    前記第2の運転可能な領域情報及び前記関心領域の前記検出結果に基づいて、第2の運転可能な領域のうちで車両が走行することが不可能である障害物領域以外の領域を第1の運転可能な領域情報を決定する、ように構成され、前記第1の運転可能な領域は、前記初期の運転可能な領域の中に存在する、
    装置。
12. 前記境界情報は、前記初期の運転可能な領域の境界に対応するf個のピクセルに関する情報を含み、前記f個のピクセルに関する前記情報は、ピクセル座標系の中で、[(u₁,h₁),(u₂,h₂),(u₃,h₃),…,(u_i,h_i),…,(u_f,h_f)]として表され、u_i、h_iは、前記f個のピクセルのうちのi番目のピクセルの位置座標を示し、1≦i≦fであり、fは、1以上の整数である、請求項11に記載の装置。
13. 前記境界情報は、前記初期の運転可能な領域の境界に対応するr個のピクセルに関する情報を含み、前記r個のピクセルに関する前記情報は、ピクセル座標系の中で、[step,(g₁,k₁),k₂,k₃,…,k_i,…,k_r]又は[step,(g₁,k₁),k₂,k₃,…,k_i,…,k_r,step_method]として表され、g₁、k₁は、前記境界情報の中の最初のピクセルの位置座標を示し、k_iは、前記r個のピクセルのうちのi番目のピクセルの垂直座標を示し、1≦i≦rであり、前記i番目のピクセルの水平座標は、前記stepに基づいて取得され、前記stepは、前記i番目のピクセルの前記水平座標と(i＋1)番目のピクセルの水平座標との間の間隔ステップを示し、前記i番目のピクセルの前記水平座標と(i－1)番目のピクセルの水平座標との間の間隔ステップは、前記i番目のピクセルの前記水平座標と前記(i＋1)番目のピクセルの前記水平座標との間の前記間隔ステップと同じであり、前記step_methodは、すべての間隔ステップの間の接続関係を示し、rは、1以上の整数である、請求項11乃至12のうちのいずれか1項に記載の装置。
14. 前記境界情報は、前記初期の運転可能な領域の境界に対応するs個のピクセルに関する情報を含み、前記s個のピクセルに関する前記情報は、ピクセル座標系の中で、[(p₁,q₁),(p₂,q₂),(p₃,q₃),…,(p_i,q_i),…,(p_s,q_s),step_method]として表され、p_i、q_iは、s個のピクセルのうちのi番目のピクセルの位置座標を示し、1≦i≦sであり、前記i番目のピクセルの水平座標と(i＋1)番目のピクセルの水平座標との間に間隔ステップが存在し、前記i番目のピクセルの前記水平座標と(i－1)番目のピクセルの水平座標との間の間隔ステップは、前記i番目のピクセルの前記水平座標と前記(i＋1)番目のピクセルの前記水平座標との間の前記間隔ステップとは異なり、前記step_methodは、すべての間隔ステップの間の接続関係を示し、sは、1以上の整数である、請求項11乃至13のうちのいずれか1項に記載の装置。
15. 前記step_methodは、線形補間、2次補間、3次スプライン補間、又は形状保存の区分的な3次補間に設定される、請求項13乃至14のうちのいずれか1項に記載の装置。
16. 前記レーダ検出情報は、前記初期の運転可能な領域の検出情報を含む、請求項11乃至15のうちのいずれか1項に記載の装置。
17. 前記決定モジュールが、前記関心領域を検出するように構成されることは、
    前記決定モジュールが、前記関心領域に対応する画像情報を分類するように構成されることを含む、請求項11に記載の装置。
18. 前記関心領域の前記検出結果は、前記関心領域が、車両が走行することが可能である領域であるということ、又は、前記関心領域が、車両が走行することが不可能である障害物領域であるということを含む、請求項11乃至17のうちのいずれか1項に記載の装置。
19. 前記決定モジュールは、さらに、関心領域が存在しないということを決定するように構成され、
    前記取得モジュールは、さらに、前記第1の情報及び前記第2の情報に基づいて、第2の運転可能な領域情報を取得するように構成され、前記第2の運転可能な領域情報は、前記第1の運転可能な領域情報である、請求項11乃至16のうちのいずれか1項に記載の装置。
20. 前記レーダ検出情報は、位置座標情報を含むか、又は、
    前記レーダ検出情報は、位置座標情報及び位置座標の共分散情報を含む、請求項11乃至19のうちのいずれか1項に記載の装置。
21. 装置であって、当該装置は、プロセッサを含み、前記プロセッサは、メモリに結合するように構成され、前記プロセッサは、前記メモリの中の命令を読み出し、前記命令にしたがって、請求項1乃至10のうちのいずれか1項に記載の方法を当該装置に実行させる、ように構成される、装置。
22. コンピュータ記憶媒体であって、当該コンピュータ記憶媒体は、命令を含み、前記命令がコンピュータによって実行されるときに、請求項1乃至10のうちのいずれか1項に記載の方法を前記コンピュータに実行させる、コンピュータ記憶媒体。
23. コンピュータプログラムであって、当該コンピュータプログラムがコンピュータによって実行されるときに、請求項1乃至10のうちのいずれか1項に記載の方法を前記コンピュータに実行させる、コンピュータプログラム。

Images