JP6802331B2

JP6802331B2 - 車線処理方法及び装置

Info

Publication number: JP6802331B2
Application number: JP2019128139A
Authority: JP
Inventors: シエ，シュフ; ヅァイ，ユーキャン; シア，ティアン; マ，ユー
Original assignee: バイドゥオンラインネットワークテクノロジー（ベイジン）カンパニーリミテッド
Priority date: 2018-09-04
Filing date: 2019-07-10
Publication date: 2020-12-16
Anticipated expiration: 2039-07-10
Also published as: CN109117825B; EP3620964B1; CN109117825A; US11113546B2; EP3620964A1; JP2020038624A; US20200074189A1

Description

本発明は、交通技術分野に関し、特に、車線処理方法及び装置に関する。

車線は、自動運転に対して、重要な役割を果たしており、測位や決定制御等のモジュールに重要な情報を提供することができる。従来の案としては、カメラによりキャプチャーされた二次元（２Ｄ、ｔｗｏｄｉｍｅｎｓｉｏｎａｌ）画像において、画像処理方法を介して車線のエッジを検出して、クラスタリングや他の点グループ化の案を用いて、車線を取得する。

従来の画像処理やディープラーニング等の方法で車線の検出又は分割を行う案では、車線を出力するために、煩瑣な後処理案が必要で、その効果も、画像品質等の条件の影響を受けやすい。例えば、従来の後処理案として、ハフ（Ｈｏｕｇｈ）変換を利用して車線に対する後処理を行うことが可能であるが、このような方式では、ノイズ点の影響を受けやすくて、ロバストではない。

本発明の実施例は、先行技術における１つ又は複数の技術的課題を解決するための車線処理方法及び装置を提供する。

第一態様によれば、本発明の実施例は、車線処理方法を提供し、該方法は、
第一画像における各車線点の間の距離を取得するステップと、
各前記車線点の間の距離を用いて、各前記車線点の方向密度を確定するステップと、
各前記車線点の方向密度に基づいて、各車線に対応するグループにおける車線点を確定するステップと、
各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るステップと、を含む。

第一態様に合わせて、本発明の実施例として、第一態様の第一実現形態において、
前記第一画像をディープラーニングモデルに入力して、第二画像を得て、前記第二画像は、前記第一画像に対して、一定のスケーリング比を有し、前記第二画像には、前記ディープラーニングモデルによって、前記第一画像を識別して得られた車線点及び非車線点が含まれるステップと、
前記第二画像における各車線点の座標を、前記スケーリング比に従って、前記第一画像にマッピングし戻して、前記第一画像における各車線点の座標を得るステップと、を更に含む。

第一態様に合わせて、本発明の実施例として、第一態様の第二実現形態において、各前記車線点の間の距離を用いて、各前記車線点の方向密度を確定するステップは、
目標車線点との距離が第一閾値より小さくなるＫ個の車線点を選択し、Ｋは、１以上の正整数であるステップと、
前記目標車線点と前記Ｋ個の車線点のうちの少なくとも１つの車線点とを通過する直線を生成するステップと、
前記直線との距離が第二閾値より小さくなる関連車線点の数量を取得するステップと、
前記Ｋ個の車線点にそれぞれ対応する前記関連車線点の数量の中の最大値を前記目標車線点の方向密度として確定するステップと、を含む。

第一態様に合わせて、本発明の実施例として、第一態様の第三実現形態において、各前記車線点の方向密度に基づいて、各車線に対応するグループにおける車線点を確定するステップは、
前記グループの候補車線点を確定するステップと、
前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップと、
前記候補車線点と同じグループに属する車線点があれば、前記候補車線点と同じグループに属する車線点を前記グループに追加するステップと、
前記グループに追加された車線点を新たな前記候補車線点として、前記新たな前記候補車線点と同じグループに属する車線点が探されなくなるまで、前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップを実行し続けるステップと、を含み、
ここで、前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップは、前記第一画像から、前記候補車線点との距離が第三閾値より小さくなるＭ個の車線点を取得し、Ｍは、１以上の正整数であり、前記Ｍ個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定すること、を含む。

第一態様の第三実現形態に合わせて、本発明の実施例として、第一態様の第四実現形態において、前記Ｍ個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定することは、
前記Ｍ個の車線点のうち、方向密度が最大となる車線点を、前記候補車線点と同じグループに属する車線点として確定し、又は
前記Ｍ個の車線点から、前記候補車線点の方向密度に対する直線に対応する関連車線点を取得して、各前記関連車線点から、方向密度が最大となる点を、前記候補車線点と同じグループに属する車線点として選択することを、含む。

第一態様又はその何れか１つの実現形態に合わせて、本発明の実施例として、第一態様の第五実現形態において、各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るステップは、
前記グループから複数の車線点を選択して、選択された複数の車線点の前記第一画像での座標を用いて、多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得ることを含む。

第一態様の第五実現形態に合わせて、本発明の実施例として、第一態様の第六実現形態において、各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るステップは、
前記車線の多項式曲線を用いて、前記車線の始点座標及び／又は終点座標を確定することを更に含む。

第一態様又はその何れか１つの実現形態に合わせて、本発明の実施例として、第一態様の第七実現形態において、
各前記グループにおける車線点を合併するステップを更に含む。

第一態様又はその何れか１つの実現形態に合わせて、本発明の実施例として、第一態様の第八実現形態において、第一画像における各車線点の間の距離を取得するステップは、
各前記車線点の前記第一画像での座標を用いて、２個の車線点ずつの間の距離を計算し、
２個の車線点ずつの間の距離を用いて、距離マトリックスを生成し、前記距離マトリックスの各要素が、前記第一画像における２個の車線点の間の距離を表すこと、を含む。

第二態様によれば、本発明の実施例は、車線処理装置を提供し、該装置は、
第一画像における各車線点の間の距離を取得するための距離取得モジュールと、
各前記車線点の間の距離を用いて、各前記車線点の方向密度を確定するための方向密度モジュールと、
各前記車線点の方向密度に基づいて、各車線に対応するグループにおける車線点を確定するためのグループ化モジュールと、
各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るための車線表現モジュールと、を備える。

第二態様に合わせて、本発明の実施例として、第二態様の第一実現形態において、
前記第一画像をディープラーニングモデルに入力し識別して、第二画像を得て、前記第二画像は、前記第一画像に対して、一定のスケーリング比を有し、前記第二画像には、前記第一画像を識別して得られた車線点及び非車線点が含まれるための識別モジュールと、
前記第二画像における各車線点の座標を、前記スケーリング比に従って、前記第一画像にマッピングし戻して、前記第一画像における各車線点の座標を得るためのマッピングモジュールと、を更に備える。

第二態様に合わせて、本発明の実施例として、第二態様の第二実現形態において、前記方向密度モジュールは、
目標車線点との距離が第一閾値より小さくなるＫ個の車線点を選択し、Ｋは、１以上の正整数であり、
前記目標車線点と前記Ｋ個の車線点のうちの少なくとも１つの車線点とを通過する直線を生成し、
前記直線との距離が第二閾値より小さくなる関連車線点の数量を取得し、
前記Ｋ個の車線点にそれぞれ対応する前記関連車線点の数量の中の最大値を前記目標車線点の方向密度として確定するためにさらに用いられる。

第二態様に合わせて、本発明の実施例として、第二態様の第三実現形態において、前記グループ化モジュールは、
前記グループの候補車線点を確定し、
前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探し、
前記候補車線点と同じグループに属する車線点があれば、前記候補車線点と同じグループに属する車線点を前記グループに追加し、
前記グループに追加された車線点を新たな前記候補車線点として、前記新たな前記候補車線点と同じグループに属する車線点が探されなくなるまで、前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップを実行し続けるためにさらに用いられ、
ここで、前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探すことは、前記第一画像から、前記候補車線点との距離が第三閾値より小さくなるＭ個の車線点を取得し、Ｍは、１以上の正整数であり、前記Ｍ個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定すること、を含む。

第二態様又はその何れか１つの実現形態に合わせて、本発明の実施例として、第二態様の第四実現形態において、前記車線表現モジュールは、
前記グループから複数の車線点を選択して、選択された複数の車線点の前記第一画像での座標を用いて、多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得るためのフィッティングサブモジュールを備える。

第二態様の第四実現形態に合わせて、本発明の実施例として、第二態様の第五実現形態において、前記車線表現モジュールは、
前記車線の多項式曲線を用いて、前記車線の始点座標及び／又は終点座標を確定するための始終点サブモジュールを更に備える。

第二態様又はその何れか１つの実現形態に合わせて、本発明の実施例として、第二態様の第六実現形態において、前記距離取得モジュールは、
各前記車線点の前記第一画像での座標を用いて、２個の車線点ずつの間の距離を計算するための距離計算サブモジュールと、
２個の車線点ずつの間の距離を用いて、距離マトリックスを生成し、前記距離マトリックスの各要素が、前記第一画像における２個の車線点の間の距離を表すための距離マトリックス生成サブモジュールと、を備える。

第三態様によれば、本発明の実施例は、車線処理装置を提供し、前記装置の機能が、ハードウェアで実現されてもよいし、ハードウェアにより該当のソフトウェアを実行することで実現されてもよい。前記ハードウェア又はソフトウェアは、上記機能に対応する１つ又は複数モジュールを含む。

１つの可能な設計において、前記装置の構造には、プロセッサ及びメモリが含まれており、前記メモリが、前記装置による上記車線処理方法の実行をサポートするプログラムを記憶するために用いられ、前記プロセッサが、前記メモリに記憶されたプログラムを実行するように配置されている。前記装置は、他の機器又は通信ネットワークと通信するための通信インターフェースを更に備えてもよい。

第四態様によれば、本発明の実施例は、車線処理装置に用いられるコンピュータソフトウェア指令を記憶するためのコンピュータ可読記憶媒体を提供しており、該指令は、上記車線処理方法を実行するためのプログラムを含む。

上記技術案のうちの１つの技術案は、各車線点の方向密度に基づいて、画像における車線点をグループ化することで、得られたグループがより正確になり、フィッティングによって得られた車線が正確であり、画像の品質に影響されず、高いロバスト性を有するという利点又は有益な効果を有する。

上記概説は明細書のためのものであって、いかなる方式で制限するためのものではない。上記説明される模式的な態様、実施形態及び特徴を除き、本発明のさらなる態様、実施形態及び特徴は、図面及び以下の詳細な説明によって明らかになる。

図面において、特に断らない限り、同一符号は同一又は類似の部材又は要素を示す。これらの図面は必ずしも縮尺に応じて作成されるものではない。なお、これらの図面は本発明に開示されているいくつかの実施形態を示しているが、本発明の範囲を限定するものではない。

本発明の実施例に係る車線処理方法のフローチャートを示す。本発明の実施例に係る車線処理方法のフローチャートを示す。本発明の実施例に係る車線処理方法のフローチャートを示す。本発明の実施例に係る車線処理方法において方向密度を確定する例を示す図である。本発明の実施例に係る車線処理方法のフローチャートを示す。本発明の実施例に係る車線処理方法においてグループ化する例を示す図である。本発明の実施例に係る車線処理方法においてグループを合併する例を示す図である。本発明の実施例に係る車線処理方法において曲線を用いて始点、終点を確定する模式図を示す。本発明の実施例に係る車線処理方法において曲線を用いて始点、終点を確定する模式図を示す。本発明の実施例に係る車線処理装置の構造ブロック図を示す。本発明の実施例に係る車線処理装置の構造ブロック図を示す。本発明の実施例に係る車線処理装置の構造ブロック図を示す。

以下では、幾つかの例示的な実施例のみを簡単に説明する。当業者であれば、本発明の趣旨又は範囲を逸脱せずに、説明した実施例に様々な変更を施すことができると理解できる。従って、図面と説明は本質的に例示的であり、限定的ではないとみなされるべきである。

図１は、本発明の実施例に係る車線処理方法のフローチャートを示す。図１に示すように、該方法は、
第一画像における各車線点の間の距離を取得するステップＳ１１と、
各前記車線点の間の距離を用いて、各前記車線点の方向密度を確定するステップＳ１２と、
各前記車線点の方向密度に基づいて、各車線に対応するグループにおける車線点を確定するステップＳ１３と、
各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るステップＳ１４と、を含んでもよい。

本実施例において、第一画像における画素点を分類してもよく、車線として分類された画素点は、車線点と称されてもよい。第一画像における車線点以外の画素点は、非車線点と称されてもよい。

一実現形態において、ステップＳ１１は、各前記車線点の前記第一画像での座標を用いて、２個の車線点ずつの間の距離を計算することと、２個の車線点ずつの間の距離を用いて、距離マトリックスを生成し、距離マトリックスにおける各要素が前記第一画像における２個の車線点の間の距離を表すことと、を含む。距離マトリックスを先に計算すれば、方向密度を計算する際、距離マトリックスにおける要素を直接に利用することができるので、計算プロセスがより簡単且つ迅速になる。

一例においては、元画像内の全ての車線点のうち、２個ずつの間の距離を計算して、距離マトリックスを構築してもよい。元画像には、Ｎ個の車線点があると仮定すると、距離マトリックスのサイズは、Ｎ＊Ｎとなる。

例えば、距離マトリックスは、以下の通りであるとする。

該距離マトリックスにおける要素ｅ_ijは、２個の車線点ｉとｊとの間のユークリッド距離を表すことが可能である。勿論、他の方式で、例えば、街区距離等で、距離マトリックス内の要素を計算してもよい。

一実現形態において、図２に示すように、該方法は、
第一画像をディープラーニングモデルに入力し識別して、第二画像を得て、前記第二画像は、前記第一画像に対して、一定のスケーリング比を有し、前記第二画像には、ディープラーニングモデルによって、前記第一画像を識別して得られた車線点及び非車線点が含まれるステップＳ２１と、
第二画像における各車線点の座標を、前記スケーリング比に従って、第一画像にマッピングし戻して、第一画像における各車線点の座標を得るステップＳ２２と、を更に含む。

本実施例は、ディープラーニングモデルの予測出力結果に対して、後処理を行うために用いられてもよい。ニューラルネットワークを用いてディープラーニングモデルを構築し、ある程度のサンプル画像を用いてトレーニングすることで、ネットワーク出力グラフにおける各画素点が車線に属する信頼度をディープラーニングモデルにより得られるようにする。また、信頼度閾値を用いて分類を行う。例えば、信頼度が閾値より大きくなる画素点が車線点となり、閾値以下の画素点が非車線点となる等。後続では、識別結果を用いて自己学習し続けていくことで、モデルを最適化してもよい。

例えば、一枚の２Ｄ画像（元画像、即ち、第一画像）、例えば、撮影された路面画像等が与えられてもよい。ディープラーニングモデルを用いて、元画像を均等な比で縮小し、縮小後の画像における画素点を分類する（０：非車線点、１：車線点）。車線として分類された画素点（車線点と略す）のそれぞれについて、その予測目標点のネットワーク出力グラフ、即ち、第二画像での位置がモデルにより与えられてもよい。その後、ネットワーク出力グラフにおける各車線点の座標を元画像にマッピングし戻す。

一実現形態において、図３に示すように、ステップＳ１２は、
目標車線点との距離が第一閾値より小さくなるＫ個の車線点を選択し、Ｋは、１以上の正整数であるステップＳ１２１と、
前記目標車線点と前記Ｋ個の車線点のうちの少なくとも１つの車線点とを通過する直線を生成するステップＳ１２２と、
前記直線との距離が第二閾値より小さくなる関連車線点の数量を取得するステップＳ１２３と、
前記Ｋ個の車線点にそれぞれ対応する前記関連車線点の数量の中の最大値を前記目標車線点の方向密度として確定するステップＳ１２４と、を含む。このように、該最大値に対応する直線を該目標車線点の方向とすることができる。目標車線点の方向密度を確定するこれらの点、即ち、該直線との距離が第二閾値より小さくなる点を、目標車線点の方向に関連する車線点（関連車線点と略す）として確定する。

画像におけるそれぞれの車線点の方向密度を計算してもよく、方向密度は、車線点がある方向に沿って、他の車線点に近づく可能性を表すことが可能である。第一閾値、第二閾値は、第一画像のサイズや、画像における車線点の数量等のパラメータに応じて設定されてもよい。

一例において、それぞれの目標車線点Ｐに対して、距離マトリックスから、当該目標車線点Ｐとの距離が第一閾値Ｔ１より小さくなるＫ個の隣接点Ｐｎｂ＿ｉを選択してもよい。例えば、距離マトリックスから、点Ｐに対応する行における各要素を抽出する。抽出されたある要素が第一閾値Ｔ１より小さく、且つ、該要素が点Ｐと点Ｐ１との間の距離を表すれば、点Ｐ１は、点Ｐの隣接点に該当する。同じようにして、距離マトリックスから点Ｐに対応する行及び列の各要素を抽出することで、目標車線点Ｐの全ての隣接点を確定することができる。第一閾値Ｔ１のサイズが異なると、隣接点の数が異なる可能性がある。

そして、点Ｐとその隣接点Ｐｎｂ＿ｉとを用いて直線を確定し、他の車線点から該直線までの距離を計算する。距離が第二閾値Ｔ２より小さくなる車線点の数を統計して、その最大値を該点Ｐの方向密度とする。該直線は、点Ｐの方向を表すことができる。該直線との距離がＴ２より小さくなる各車線点は、該直線の関連車線点に属し、これらの関連車線点が、該直線の方向に沿って点Ｐに近づく。例えば、図４に示すように、それぞれの小さい円は、１つの車線点を示し、Ｐとの距離がＴ１より小さくなる３つの点は、Ｐ１、Ｐ２、Ｐ３である。その中、ＰとＰ１とにより直線Ｌ１が確定され、ＰとＰ２とにより直線Ｌ２が確定され、ＰとＰ３とにより直線Ｌ３が確定される。Ｌ１、Ｌ２、Ｌ３との距離が閾値Ｔ２より小さくなる車線点は、それぞれ、３つ、４つ、５つがある。従って、５を点Ｐの方向密度とすることができる。

一実現形態において、図５に示すように、ステップＳ１３は、
グループにおける候補車線点を確定するステップＳ１３１と、
前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップＳ１３２と、
前記候補車線点と同じグループに属する車線点があれば、前記候補車線点と同じグループに属する車線点を前記グループに追加するステップＳ１３３と、
前記グループに追加された車線点を新たな前記候補車線点として、前記候補車線点と同じグループに属する車線点が探されなくなるまで、前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップ、即ち、ステップＳ１３２を実行し続けるステップＳ１３４と、を含む。

一例においては、ステップＳ１３２は、前記第一画像から、前記候補車線点との距離が第三閾値より小さくなるＭ個の車線点を取得し、Ｍは、１以上の正整数であることと、前記Ｍ個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定することと、を含んでもよい。

その中、前記Ｍ個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定する方式は、複数があり得る。

例えば、前記Ｍ個の車線点のうち、方向密度が最大となる車線点を、前記候補車線点と同じグループに属する車線点として確定する。

もしくは、前記Ｍ個の車線点から、前記候補車線点の方向密度に対する直線に対応する関連車線点を取得する。各前記関連車線点は、前記直線との距離が第二閾値より小さい。各前記関連車線点から、方向密度が最大となる点を、前記候補車線点と同じグループに属する車線点として選択する。

一例においては、１つの候補車線点Ｐを選択して、Ｐとの距離が閾値Ｔ３より小さくなる範囲内で、最大の方向密度を持つ車線点Ｑを選択し、Ｔ３は、１００個の画素であるとする。点Ｑを新たな候補車線点として、同様なルールで、条件を満たす点が探されなくなるまで、条件を満たす点を選択していく。今回に探された全ての点を１つのグループにする。全ての車線点が処理されるまで、該グループ化のプロセスを繰り返せば、点のグループがいくつか得られる。例えば、図６に示すように、それぞれの小さい円は、１つの車線点を示し、候補車線点Ｐの方向密度が５であるとする。点Ｐとの間の距離が閾値Ｔ３より小さくなる画素点が位置するエリアは、破線枠により示される。該エリア内の各車線点の方向密度は、図４に示す方法で計算されてもよい。該エリア内の複数の車線点の方向密度がそれぞれ２、１、３、４であるとすると、方向密度が最大となる点Ｑ（方向密度４）を選択する。また、点Ｐの方向と併せて、図４の領域において、点Ｐの方向密度に対する直線、即ち、Ｐの方向、に対応する関連車線点（図６内の直線との距離が閾値Ｔ２より小さくなる各点）から、方向密度が最大となる点を選択してもよい。

一実現形態において、ステップＳ１３の後に、該方法は、各前記グループにおける車線点を合併するステップを更に含む。そして、合併後のグループを最終的なグループ化結果とする。

本実施例において、各グループの間の空間的隣接性の原則を用いて、隣り合うグループを合併してもよい。合併方式は、複数があり、以下のように例を挙げる。
方式一として、２つのグループの間の距離が設定された閾値より小さければ、合併を行い、ここで、例えば、２つのグループにおける各点の間の距離の最小値を、２つのグループの間の距離としてもよい。
方式二として、それぞれのグループにおける点の方向密度の情報を用いて、それぞれのグループの隣接する領域方向に向ける点の方向密度の集合を計算し、２つのグループの隣接する領域方向に向ける点の方向密度の集合の重なり度合が閾値よりも高ければ、これら２つのグループを合併する。例えば、図７を参照すると、グループＡとグループＢとのいずれ一方にも、方向密度に対応する直線が他方を通過する点が複数あるとすると、グループＡとグループＢとは、重なりを持つと見なす。重なり度合閾値が３である場合、もしグループＡには、方向密度に対応する直線がグループＢを通過する点が３つあり、且つグループＢには、方向密度に対応する直線がグループＡを通過する点が２つあるとすると、これら２つのグループの重なり度合は５となり、閾値を超えるので、これら２つのグループは、合併可能になる。

一実現形態において、ステップＳ１４は、それぞれのグループに対して、前記グループから複数の車線点を選択することと、選択された複数の車線点の前記第一画像での座標を用いて、多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得ることとを含む。

多項式フィッティングプロセスの一例では、例えば、多項式ｙ＝ａｘ³＋ｂｘ²＋ｃｘ＋ｄが与えられる。それぞれのグループに対して、該グループにおける複数（例えば、４つ又はそれ以上）の車線点の元画像での座標（ｘ、ｙ）を該多項式に代入してもよい。そして、最小二乗法によって、該多項式を解いて、該多項式における各係数ａ、ｂ、ｃ、ｄの値を得る。

ただし、与えられる多項式は、一例に過ぎず、制限的なものではなく、必要に応じて、他の形式の多項式を採用してもよい。

一実現形態において、ステップＳ１４は、前記車線の多項式曲線を用いて、前記車線の始点座標及び／又は終点座標を確定することを更に含む。

あるグループに対応する車線の多項式曲線がフィッティングによって得られたと、該曲線に基づいて車線の始点や終点等の情報を確定することができる。具体的に、該グループにおける各車線点の座標、及び、該グループに対応する車線の曲線を併せて、これらの点のｙ（及び／又はｘ）の最小値及び最大値等によって、始点及び終点情報を確定することができる。

例えば、図８ａに示すように、あるグループのフィッティングにより曲線Ｌ１を得て、該グループ内のｙ（及び／又はｘ）の最小値によって、Ｌ１の始点座標Ａを確定し、該グループ内のｙ（及び／又はｘ）の最大値によって、Ｌ１の終点座標Ｂを確定する。あるグループのフィッティングにより曲線Ｌ２を得て、該グループ内のｘの最小値（ｙの最大値）によって、曲線Ｌ２の始点座標Ｄを確定し、該グループ内のｘの最大値（ｙの最小値）によって、曲線Ｌ２の終点座標Ｃを確定する。

もしくは、図８ｂに示すように、あるグループのフィッティングにより曲線Ｌ３を得て、該グループ内のｙの最小値によって、Ｌ３の始点座標Ｅを確定し、該グループ内のｙの最大値によって、Ｌ３の終点座標Ｆを確定する。

本発明の実施例は、各車線点の方向密度に基づいて、画像における車線点をグループ化することで、得られたグループがより正確になるため、フィッティングによって得られた車線が正確であり、画像の品質に影響されず、高いロバスト性を有する。

図９は、本発明の実施例に係る車線処理装置の構造ブロック図を示す。図９に示すように、該装置は、
第一画像における各車線点の間の距離を取得するための距離取得モジュール７１と、
各前記車線点の間の距離を用いて、各前記車線点の方向密度を確定するための方向密度モジュール７２と、
各前記車線点の方向密度に基づいて、各車線に対応するグループにおける車線点を確定するためのグループ化モジュール７３と、
各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るための車線表現モジュール７４と、を備えてもよい。

一実現形態において、図１０に示すように、該装置は、
前記第一画像をディープラーニングモデルに入力し識別して、第二画像を得て、前記第二画像は、前記第一画像に対して、一定のスケーリング比を有し、前記第二画像には、ディープラーニングモデルによって、前記第一画像を識別して得られた車線点及び非車線点が含まれるための識別モジュール８１と、
前記第二画像における各車線点の座標を、前記スケーリング比に従って、前記第一画像にマッピングし戻して、前記第一画像における各車線点の座標を得るためのマッピングモジュール８２と、を更に備える。

一実現形態において、前記方向密度モジュール７２は、
目標車線点との距離が第一閾値より小さくなるＫ個の車線点を選択し、Ｋは、１以上の正整数であり、
前記目標車線点と前記Ｋ個の車線点のうちの少なくとも１つの車線点とを通過する直線を生成し、
前記直線との距離が第二閾値より小さくなる関連車線点の数量を取得し、
前記Ｋ個の車線点にそれぞれ対応する前記関連車線点の数量のうちの最大値を前記目標車線点の方向密度として確定し、該最大値に対応する直線を該目標車線点の方向とすることができるためにさらに用いられる。

一実現形態において、前記グループ化モジュール７３は、
前記グループの候補車線点を確定し、
前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探し、
前記候補車線点と同じグループに属する車線点があれば、前記候補車線点と同じグループに属する車線点を前記グループに追加し、
前記グループに追加された車線点を新たな前記候補車線点として、前記候補車線点と同じグループに属する車線点が探されなくなるまで、前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップを実行し続け、
その中、前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探すことは、前記第一画像から、前記候補車線点との距離が第三閾値より小さくなるＭ個の車線点を取得し、Ｍは、１以上の正整数であり、前記Ｍ個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定するためにさらに用いられる。

なお、前記Ｍ個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定する方式は、複数があり得る。

一実現形態において、前記車線表現モジュール７４は、
それぞれのグループに対して、前記グループから複数の車線点を選択して、選択された複数の車線点の前記第一画像内の座標を用いて、多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得るためのフィッティングサブモジュール７４１を備える。

一実現形態において、前記車線表現モジュール７４は、
前記車線の多項式曲線を用いて、前記車線の始点座標及び／又は終点座標を確定するための始終点サブモジュール７４２を更に備える。

一実現形態において、該装置は、
各前記グループにおける車線点を合併するための合併モジュール８３を更に備える。
一実現形態において、距離取得モジュール７１は、
各前記車線点の前記第一画像での座標を用いて、２個の車線点ずつの間の距離を計算するための距離計算サブモジュール７１１と、
２個の車線点ずつの間の距離を用いて、距離マトリックスを生成し、距離マトリックスにおける要素が、前記第一画像における２個の車線点の間の距離を表すための距離マトリックス生成サブモジュール７１２と、を備える。

本発明の実施例に係る各装置内の各モジュールの機能について、上述の方法における対応する説明を参照してもよい、ここで繰り返して説明しない。

図１１は、本発明の実施例に係る車線処理装置の構成ブロック図を示す。図１１に示すように、該装置は、メモリ９１０及びプロセッサ９２０を備え、メモリ９１０には、プロセッサ９２０上で実行可能なコンピュータプログラムが記憶されている。前記プロセッサ９２０は、前記コンピュータプログラムを実行すると、上記実施例に係る車線処理方法を実現する。前記メモリ９１０とプロセッサ９２０の数は、１つ又は複数であってもよい。

該装置/設備/端末/サーバーは、外部装置と通信し、データの交換や伝送を行うための通信インターフェース９３０をさらに備える。

メモリ９１０は、高速ＲＡＭメモリを含む可能性もあるし、不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅｍｅｍｏｒｙ）、例えば、少なくとも１つの磁気ディスクメモリをさらに含む可能性もある。

メモリ９１０、プロセッサ９２０及び通信インターフェース９３０が独立して実現する場合、メモリ９１０、プロセッサ９２０及び通信インターフェース９３０はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャ（ＩＳＡ、ＩｎｄｕｓｔｒｙＳｔａｎｄａｒｄＡｒｃｈｉｔｅｃｔｕｒｅ）バス、ペリフェラルコンポーネント（ＰＣＩ、ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ）バス又は拡張業界標準アーキテクチャ（ＥＩＳＡ、ＥｘｔｅｎｄｅｄＩｎｄｕｓｔｒｙＳｔａｎｄａｒｄＡｒｃｈｉｔｅｃｔｕｒｅ）バス等であってもよい。前記バスはアドレスバス、データバス、制御バス等に分けられてもよい。示しやすくするために、図１１では、１本のみの太線で示すが、１本のみのバス又は１つのタイプのみのバスを有すると示さない。

選択的に、具体的に実現する時、メモリ９１０、プロセッサ９２０及び通信インターフェース９３０が１枚のチップに統合される場合、メモリ９１０、プロセッサ９２０及び通信インターフェース９３０は、内部インターフェースによって、相互間の通信を実現することができる。

本発明の実施例は、コンピュータプログラムが記憶されるコンピュータ可読記憶媒体を提供し、該プログラムがプロセッサにより実行されると、上記実施例におけるいずれか一項に記載の方法を実現する。

本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも１つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか１つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。

また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも１つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は２つ又は２つ以上である。

当業者であれば、フローチャートにおける、又はここでほかの方式で説明されるいかなる過程又は方法についての説明は、確定の論理機能又は過程を実現するための１つ又は複数のステップの実行可能命令のコードを含むモジュール、セグメント又は部分を示すと理解されてもよく、且つ本発明の好適な実施形態の範囲はほかの実現を含み、指示又は検討される順序通りでなくてもよく、関わる機能に基づいて、ほぼ同時に、又は逆順序で機能を実行してもよいと理解すべきである。

フローチャートに示す、又はここでほかの方式で説明される論理及び／又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行システム、装置又はデバイス（例えばコンピュータに基づくシステム、プロセッサを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム）の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例（非網羅的リスト）は、１つ又は複数の配線を有する電気接続部（電子装置）、ポータブルコンピュータケース（磁気装置）、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去再書込み可能な読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリー）、光ファイバー装置、及び携帯型読み出し専用メモリー（ＣＤＲＯＭ）を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集、解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。

本発明の各部分はハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の本分野での公知技術のうちのいずれか１つ又はそれらの組み合わせで実現してもよい。

当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの１つ又はそれらの組み合わせを含むと理解される。

また、本発明の各実施例における各機能ユニットが１つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、２つ又は２つ以上のユニットが１つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、１つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。

以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。

Claims

車線処理方法であって、
第一画像における各車線点の間の距離を取得するステップと、
各前記車線点の間の距離を用いて、各前記車線点の方向密度を確定するステップと、
各前記車線点の方向密度に基づいて、同じグループにおける車線点を確定するステップと、
各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るステップと、を含み、
前記車線点は、前記第一画像において車線として分類された画素点であり、
各前記車線点の間の距離を用いて、各前記車線点の方向密度を確定するステップは、
目標車線点との距離が第一閾値より小さくなるＫ個の車線点を選択し、Ｋは、１以上の正整数であるステップと、
前記目標車線点及び前記Ｋ個の車線点のうちの少なくとも１つの車線点を通過する直線を生成するステップと、
前記直線との距離が第二閾値より小さくなる関連車線点の数量を取得するステップと、
前記Ｋ個の車線点にそれぞれ対応する前記関連車線点の数量のうちの最大値を前記目標車線点の方向密度として確定するステップと、を含むことを特徴とする車線処理方法。
前記第一画像をディープラーニングモデルに入力して、第二画像を得て、前記第二画像は、前記第一画像に対して、一定のスケーリング比を有し、前記第二画像には、前記ディープラーニングモデルによって前記第一画像を識別して得られた車線点及び非車線点が含まれるステップと、
前記第二画像における各車線点の座標を、前記スケーリング比に従って、前記第一画像にマッピングし戻して、前記第一画像における各車線点の座標を得るステップと、を更に含むことを特徴とする請求項１に記載の方法。
各前記車線点の方向密度に基づいて、同じグループにおける車線点を確定するステップは、
前記グループの候補車線点を確定するステップと、
前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップと、
前記候補車線点と同じグループに属する車線点があれば、前記候補車線点と同じグループに属する車線点を前記グループに追加するステップと、
前記グループに追加された車線点を新たな前記候補車線点として、前記新たな前記候補車線点と同じグループに属する車線点が探されなくなるまで、前記新たな前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップを実行し続けるステップと、を含み、
ここで、前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップは、前記第一画像から、前記候補車線点との距離が第三閾値より小さくなるＭ個の車線点を取得し、Ｍは、１以上の正整数であることと、前記Ｍ個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定することと、を含むことを特徴とする請求項１に記載の方法。
前記Ｍ個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定することは、
前記Ｍ個の車線点のうち、方向密度が最大となる車線点を、前記候補車線点と同じグループに属する車線点として確定し、又は
前記Ｍ個の車線点から、前記候補車線点の方向密度に対する直線に対応する関連車線点を取得し、各前記関連車線点から、方向密度が最大となる点を、前記候補車線点と同じグループに属する車線点として選択することを、含むことを特徴とする請求項３に記載の方法。
各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るステップは、
前記グループから複数の車線点を選択して、選択された複数の車線点の前記第一画像での座標を用いて、多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得ることを含むことを特徴とする請求項１乃至４の何れか１項に記載の方法。
各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るステップは、
前記車線の多項式曲線を用いて、前記車線の始点座標及び／又は終点座標を確定することを更に含むことを特徴とする請求項５に記載の方法。
各前記グループにおける車線点を合併するステップを更に含むことを特徴とする請求項１乃至４の何れか１項に記載の方法。
前記第一画像における各車線点の間の距離を取得するステップは、
各前記車線点の前記第一画像での座標を用いて、２個の車線点ずつの間の距離を計算し、
２個の車線点ずつの間の距離を用いて、距離マトリックスを生成し、前記距離マトリックスにおける各要素が、前記第一画像における２個の車線点の間の距離を表すこと、を含むことを特徴とする請求項１乃至４の何れか１項に記載の方法。
車線処理装置であって、
第一画像における各車線点の間の距離を取得するための距離取得モジュールと、
各前記車線点の間の距離を用いて、各前記車線点の方向密度を確定するための方向密度モジュールと、
各前記車線点の方向密度に基づいて、同じグループにおける車線点を確定するためのグループ化モジュールと、
各前記グループにおける車線点を用いて、各前記グループに対応する車線の表現情報を得るための車線表現モジュールと、を備え、
前記車線点は、前記第一画像において車線として分類された画素点であり、
前記方向密度モジュールは、
目標車線点との距離が第一閾値より小さくなるＫ個の車線点を選択し、Ｋは、１以上の正整数であり、
前記目標車線点及び前記Ｋ個の車線点のうちの少なくとも１つの車線点を通過する直線を生成し、
前記直線との距離が第二閾値より小さくなる関連車線点の数量を取得し、
前記Ｋ個の車線点にそれぞれ対応する前記関連車線点の数量のうちの最大値を前記目標車線点の方向密度として確定するためにさらに用いられることを特徴とする車線処理装置。
前記第一画像をディープラーニングモデルに入力し識別して、第二画像を得て、前記第二画像は、前記第一画像に対して、一定のスケーリング比を有し、前記第二画像には、前記ディープラーニングモデルによって、前記第一画像を識別して得られた車線点及び非車線点が含まれるための識別モジュールと、
前記第二画像における各車線点の座標を、前記スケーリング比に従って、前記第一画像にマッピングし戻して、前記第一画像における各車線点の座標を得るためのマッピングモジュールと、を更に備えることを特徴とする請求項９に記載の装置。
前記グループ化モジュールは、
前記グループの候補車線点を確定し、
前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探し、
前記候補車線点と同じグループに属する車線点があれば、前記候補車線点と同じグループに属する車線点を前記グループに追加し、
前記グループに追加された車線点を新たな前記候補車線点として、前記新たな前記候補車線点と同じグループに属する車線点が探されなくなるまで、前記新たな前記候補車線点と同じグループに属する車線点があるかどうかについて探すステップを実行し続けるためにさらに用いられ、
ここで、前記第一画像において、各車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点があるかどうかについて探すことは、前記第一画像から、前記候補車線点との距離が第三閾値より小さくなるＭ個の車線点を取得し、Ｍは、１以上の正整数であり、前記Ｍ個の車線点の方向密度に基づいて、前記候補車線点と同じグループに属する車線点を確定すること、を含むことを特徴とする請求項９に記載の装置。
前記車線表現モジュールは、
前記グループから複数の車線点を選択して、選択された複数の車線点の前記第一画像での座標を用いて、多項式フィッティングを行って、前記グループに対応する車線の多項式曲線を得るためのフィッティングサブモジュールを備えることを特徴とする請求項９乃至１１の何れか１項に記載の装置。
前記車線表現モジュールは、
前記車線の多項式曲線を用いて、前記車線の始点座標及び／又は終点座標を確定するための始終点サブモジュールを更に備えることを特徴とする請求項１２に記載の装置。
前記距離取得モジュールは、
各前記車線点の前記第一画像での座標を用いて、２個の車線点ずつの間の距離を計算するための距離計算サブモジュールと、
２個の車線点ずつの間の距離を用いて、距離マトリックスを生成し、前記距離マトリックスの各要素が、前記第一画像における２個の車線点の間の距離を表すための距離マトリックス生成サブモジュールと、を備えることを特徴とする請求項９乃至１１の何れか１項に記載の装置。
車線処理装置であって、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するためのメモリと、を備え、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサが請求項１乃至８の何れか１項に記載の方法を実現するようにすることを特徴とする車線処理装置。
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記プログラムがプロセッサにより実行されると、請求項１乃至８の何れか１項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。
コンピュータにおいて、プロセッサにより実行される場合、請求項１〜８のいずれか一項に記載の方法を実現することを特徴とするプログラム。