JP2023535661A - 車両の車線区画線踏み越え認識方法、装置、電子機器、記憶媒体及びコンピュータプログラム - Google Patents

車両の車線区画線踏み越え認識方法、装置、電子機器、記憶媒体及びコンピュータプログラム Download PDF

Info

Publication number
JP2023535661A
JP2023535661A JP2022546572A JP2022546572A JP2023535661A JP 2023535661 A JP2023535661 A JP 2023535661A JP 2022546572 A JP2022546572 A JP 2022546572A JP 2022546572 A JP2022546572 A JP 2022546572A JP 2023535661 A JP2023535661 A JP 2023535661A
Authority
JP
Japan
Prior art keywords
road condition
lane
target
position information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022546572A
Other languages
English (en)
Inventor
エイエイ リ
シンイー ダイ
シャオ タン
ハオ サン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202110718240.5A external-priority patent/CN113392794B/zh
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2023535661A publication Critical patent/JP2023535661A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本出願は、車両の車線区画線踏み越え認識方法、装置、電子機器及び記憶媒体を提供し、人工知能分野、特にコンピュータビジョンおよび深層学習技術に関している。具体的には、複数の道路状況画像のそれぞれにおいて、対象車線区画線の位置情報および対象車両の位置情報を確定するステップと、対象車線区画線の位置情報と対象車両の位置情報とに基づいて、各道路状況画像に対応する対象車両と対象車線区画線との相対位置関係を確定するステップと、複数の道路状況画像に対応する相対位置関係が予め設定された条件を満たす場合に、対象車両が車線区画線を踏み越えたと判定するステップと、を含む。本出願の技術によれば、車両の車線区画線踏み越えの認識精度を向上させることができる。【選択図】図１

Description

関連出願の相互参照
本出願は、２０２１年６月２８日付で中国国家知識産権局に提出された、出願番号が２０２１１０７１８２４０．５で、発明の名称が「車両の車線区画線踏み越え認識方法、装置、電子機器及び記憶媒体」である中国特許出願に基づく優先権を主張し、当該特許出願の全文を引用により本出願に組み込む。
本出願は人工知能分野に関し、具体的にはコンピュータビジョンと深層学習技術に関し、具体的には知恵都市と高度道路交通シーンに用いることができる。
高度道路交通シーンでは、車両の交通法違反事件を分析する必要がある。実線時の車線変更は交通法違反事件の中で重要な一種である。実線時の車線変更を認識するには、車両が車線区画線を踏み越えたか否かを判断する必要がある。現在、車両が車線区画線を踏み越えたか否かを判断するために視覚分析法が一般的に使用される。関連技術では、単一の道路状況の画像における車両の位置と車線区画線の位置とに基づいて車両の車線区画線踏み越えの有無を判定する。
本出願は車両の車線区画線踏み越え認識方法、装置、電子機器及び記憶媒体を提供する。
本出願の一態様によれば、車両の車線区画線踏み越え認識方法であって、
複数の道路状況画像のそれぞれにおいて、対象車線区画線の位置情報および対象車両の位置情報を確定するステップと、
対象車線区画線の位置情報と対象車両の位置情報とに基づいて、各道路状況画像に対応する対象車両と対象車線区画線との相対位置関係を確定するステップと、
複数の道路状況画像に対応する相対位置関係が予め設定された条件を満たす場合に、対象車両が車線区画線を踏み越えたと判定するステップと、を含む車両の車線区画線踏み越え認識方法を提供する。
本出願の他の態様によれば、車両の車線区画線踏み越え認識装置であって、
複数の道路状況画像のそれぞれにおいて、対象車線区画線の位置情報および対象車両の位置情報を確定するように構成される位置情報確定モジュールと、
対象車線区画線の位置情報と対象車両の位置情報とに基づいて、各道路状況画像に対応する対象車両と対象車線区画線との相対位置関係を確定するように構成される相対位置関係確定モジュールと、
複数の道路状況画像に対応する相対位置関係が予め設定された条件を満たす場合に、対象車両が車線区画線を踏み越えたと判定するように構成される認識モジュールと、
を備える車両の車線区画線踏み越え認識装置を提供する。
本出願の他の態様によれば、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信接続されたメモリとを備える電子機器であって、メモリには、少なくとも１つのプロセッサによって実行可能な指令が格納され、指令が少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに本出願の実施形態のいずれかに記載の方法を実行させる電子機器を提供する。
本出願の他の態様によれば、コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、コンピュータ指令は本出願の実施形態に記載のいずれかの車両の車線区画線踏み越え認識方法をコンピュータに実行させるために用いられる非一時的コンピュータ可読記憶媒体を提供する。
本出願の他の態様によれば、プロセッサによって実行されると、本出願の実施形態に記載のいずれかの車両の車線区画線踏み越え認識方法が実現されるコンピュータプログラムを含む、コンピュータプログラム製品を提供する。
本出願の技術方案によれば、各道路状況画像における対象車両の位置情報および対象車線区画線の位置情報に基づいて、各道路状況画像における対象車両と対象車線区画線との相対位置関係を正確に確定することができる。そして、複数の道路状況画像に対応する正確な相対位置関係に基づいて、対象車両が車線区画線を踏み越えたか否かを判定する。複数の道路状況画像を統合して判定し、正確な相対位置関係に基づいて判定するので、対象車両の車線区画線踏み越え認識精度を向上させることができる。
なお、発明の概要に記載された内容は、本出願の実施形態のかなめとなる特徴または重要な特徴を限定することを意図するものではなく、本出願の範囲を限定するものでもない。本出願の他の特徴は、以下の説明によって容易に理解される。
図面は本出願をよりよく理解するために用いられ、本出願に対する限定ではない。
本出願の一実施形態に係る車両の車線区画線踏み越え認識方法の概略図である。 本出願の他の実施形態に係る車両の車線区画線踏み越え認識方法の概略図である。 本出願の他の実施形態に係る車両の車線区画線踏み越え認識方法の概略図である。 本出願の一実施形態に係る車両の車線区画線踏み越え認識装置の概略図である。 本出願の他の実施形態に係る車両の車線区画線踏み越え認識装置の概略図である。 本出願の実施形態に係る車両の車線区画線踏み越え認識方法を実現するための電子機器のブロック図である。
以下は、図面を参照して本出願の例示的な実施形態を説明し、ここで理解を助けるため、本出願の実施形態の様々な詳細を記載するが、これらは単なる例示的なものに過ぎないことを理解すべきである。従って、本出願の範囲および要旨を逸脱しない限り、当業者が本明細書の実施形態に対して様々な変更および修正を行うことができることを理解すべきである。なお、以下の説明では、明確化および簡略化のため、公知の機能および構成については説明を省略する。
図１は、本出願の一実施形態に係る車両の車線区画線踏み越え認識方法のフローチャートである。図１に示すように、当該方法は、次のステップを含み得る。
Ｓ１０１では、複数の道路状況画像のそれぞれにおいて、対象車線区画線の位置情報および対象車両の位置情報を確定する。
Ｓ１０２では、対象車線区画線の位置情報と対象車両の位置情報とに基づいて、各道路状況画像に対応する対象車両と対象車線区画線との相対位置関係を確定する。
Ｓ１０３では、複数の道路状況画像に対応する相対位置関係が予め設定された条件を満たす場合に、対象車両が車線区画線を踏み越えたと判定する。
ステップＳ１０１では、例えば、画像採集装置を用いて道路状況画像を撮像することができる。このうち、画像採集装置は、例えば無人機または道路上のドーム型カメラ、ボックスカメラなどのカメラである。
例えば、対象車両は、いずれの車両であってもよいし、特定車両であってもよいし、検出された各車両であってもよい。対象車線区画線は、あらゆる車線区画線、指定車線区画線、または検出された各車線区画線であってもよい。また、対象車線区画線は、対象車両に関連する車線区画線、例えば、対象車両に最も近い車線区画線であってもよい。したがって、対象車両に基づいて対象車線区画線を確定してもよい。
例示として、対象車両の位置情報は、画像座標系における車両の中心点又は車両の所定のコーナー点の座標であってもよい。対象車線区画線の位置情報は、画像座標系における曲線の方程式または直線の方程式であってもよい。
ステップＳ１０２では、例示として、対象車両と対象車線区画線との相対位置関係を用いて、対象車両が対象車線区画線の左側または右側にあることを示すことができる。対象車線区画線の位置情報と対象車両の位置情報とを確定した後、対象車両が対象車線区画線の左側または右側に位置すると判断することにより、対象車両が車線区画線を踏み越えたか否かを容易に判断することができる。
ステップＳ１０３では、例示として、予め設定された条件は、複数の道路状況画像に対応する相対位置関係が逆であることを含む。例えば、いくつかの道路状況画像の中には、対象車両が対象車線区画線の左側に位置し、他のいくつかの道路状況画像の中には、対象車両が対象車線区画線の右側に位置する。これにより、複数の道路状況画像に対応する相対位置関係が予め設定された条件を満たすと判定することができる。
例示として、第１の道路状況画像における対象車両と対象車線区画線との相対位置関係と、第２の道路状況画像における対象車両と対象車線区画線との相対位置関係とを照合することにより、第１の道路状況画像における相対位置関係が第２の道路状況画像における相対位置関係と逆である場合に、対象車両が車線区画線を踏み越えたと判定する。
本出願の技術方案によれば、各道路状況画像における対象車両の位置情報および対象車線区画線の位置情報に基づいて、各道路状況画像における対象車両と対象車線区画線との相対位置関係を正確に確定することができる。そして、複数の道路状況画像に対応する正確な相対位置関係に基づいて、対象車両が車線区画線を踏み越えたか否かを判定する。複数の道路状況画像を統合して判定し、正確な相対位置関係に基づいて判定するので、対象車両の車線区画線踏み越え認識精度を向上させることができる。
一実施形態において、方法は、複数の道路状況画像を無人機で採集することをさらに含む。
例示として、画像採集装置は、無人機であってもよく、高速シーンでの道路状況を無人機で連続して撮像することで、複数の連続した道路状況画像を取得してもよい。高速シーンでの道路状況を無人機で撮像して映像を得、映像から複数フレームの道路状況映像画像フレームを取得することも可能である。複数の画像を用いて車両の軌跡をフィッティングし、車両の軌跡と単一画像内の車線区画線との比較結果に基づいて、車両が車線区画線を踏み越えたか否かを判断する場合と比較すると、本方案は、無人機が揺れた場合でも、相対位置関係に基づいて対象車両の車線区画線踏み越えを正確に認識することができる。
一実施形態では、上記ステップＳ１０１は、以下のステップを含んでもよい。
複数の道路状況画像のうちの第１の道路状況画像における対象車線区画線の位置情報と、予め設定された追跡ポリシーとに基づいて、複数の道路状況画像のうちの第２の道路状況画像において対象車線区画線の位置情報を確定する。
例示として、無人機の撮像シーンにおいて、第１の道路状況画像と第２の道路状況画像との撮像オフセット距離（即ち、無人機オフセット距離）は、隣接する２本の車線区画線の間の距離よりも小さい。ここで、予め設定された追跡ポリシーは、第２の道路状況画像における位置情報と、第１の道路状況画像における対象車線区画線の位置情報とのオフセット量が予め設定された閾値よりも小さい車線区画線を、第２の道路状況画像における対象車線区画線として確定してもよい。
例示として、第１の道路状況画像および第２の道路状況画像は、連続した画像であってもよく、例えば、ｉ番目の道路状況画像およびｉ＋１番目の道路状況画像であってもよい。
画像採集装置の前後２枚の道路状況画像の間隔時間が短い（例えば、１秒未満である）ため、予め設定された追跡ポリシーに従って連続した２つの道路状況画像を処理することによって、車線区画線を追跡することができ、これによって第２の道路状況画像において対象車線区画線を正確に認識することができ、対象車両と対象車線区画線との相対位置関係を確定するのに役立ち、さらに対象車両の車線区画線踏み越えの認識精度を向上できる。
例えば、車線追跡の過程中で、第１の道路状況画像において各車線にＩＤを付与し、追跡ポリシーに従って前後２つの道路状況画像を処理することにより、後方の道路状況画像におよてそのＩＤを追跡でき、次の道路状況画像に新たな車線区画線が出現する場合には新たなＩＤを付与し、あるＩＤが後方の道路状況画像に出現しない場合にはその車線区画線が消失したとみなしてその車線区画線を追跡しないようにすることができる。
一実施形態では、上記ステップＳ１０３は、次のステップを含んでもよい。
複数の道路状況画像のうち連続したＭ個の道路状況画像に対応する相対位置関係と、複数の道路状況画像のうち連続したＮ個の道路状況画像に対応する相対位置関係とが逆であれば、対象車両が車線区画線を踏み越えたと判定する。
ここで、Ｍ個の道路状況画像はＮ個の道路状況画像の前の画像であり、Ｍ個の道路状況画像はＮ個の道路状況画像に連続しており、ＭとＮはいずれも１以上の整数である。
具体的には、複数の道路状況画像のうちの連続したＭ個の道路状況画像に対応する相対位置関係が、第１の相対位置関係（例えば、対象車両が対象車線区画線の左側に位置する）であり、複数の道路状況画像のうちの連続したＮ個の道路状況画像に対応する相対位置関係が、第２の相対位置関係（例えば、対象車両が対象車線区画線の右側に位置する）であり、かつ第１の相対位置関係と第２の相対位置関係とが逆である場合に、対象車両が車線区画線を踏み越えたと判定する。
すなわち、Ｍ個の道路状況画像に対応する相対位置関係が同じであり、Ｎ個の道路状況画像に対応する相対位置関係が同じであるが、Ｍ個の道路状況画像に対応する相対位置関係とＮ個の道路状況画像に対応する相対位置関係とが異なっていれば、予め設定された条件を満たし、対象車両が車線区画線を踏み越えたと判定する。
例示として、ＭとＮは同じであっても異なっていてもよい。
例えば、無人機が５つの連続した道路状況画像を撮像し、前の３つ（すなわちＭ＝３）の道路状況画像における対象車両と対象車線区画線との第１の相対位置関係が、対象車両が対象車線区画線の左側に位置することであり、後の２つ（すなわちＮ＝２）の道路状況画像における対象車両と対象車線区画線との第２の相対位置関係が、対象車両が対象車線区画線の右側に位置することである場合、対象車両が車線区画線を踏み越えたと判定する。
このように、連続した道路状況画像において、連続したＭ個の道路状況画像に対応する相対位置関係と、連続したＮ個の道路状況画像に対応する相対位置関係とを確定することにより、連続したＭ個の道路状況画像における対象車両と対象車線区画線との相対位置関係が一致することと、連続したＮ個の道路状況画像における対象車両と対象車線区画線との相対位置関係が一致することとが確保され、ことにより、対象車両と対象車線区画線との相対位置関係が変化した場合に、対象車両が車線区画線を踏み越えたか否かを正確に認識することができる。
図２は、本出願の他の実施形態に係る車両の車線区画線踏み越え認識方法のフローチャートである。当該実施形態の車両の車線区画線踏み越え認識方法は、上記実施形態の各ステップを含んでいてもよい。本実施形態では、Ｓ１０１において、複数の道路状況画像のそれぞれにおいて、対象車線区画線の位置情報および対象車両の位置情報を確定する。
Ｓ２０１では、各道路状況画像において、対象車両の位置情報と複数の車線区画線の位置情報を確定する。
Ｓ２０２では、各道路状況画像における対象車両の位置情報と複数の車線区画線の位置情報とに基づいて、各道路状況画像における対象車両と複数の車線区画線との距離を確定する。
Ｓ２０３では、複数の道路状況画像のうちのｉ番目の道路状況画像において、対象車両と複数の車線区画線のうちのｊ番目の車線区画線との距離が予め設定された閾値より小さい場合に、ｊ番目の車線区画線を対象車線区画線として確定し、各道路状況画像における複数の車線区画線の位置情報から対象車線区画線の位置情報を確定する。ここで、ｉとｊは、いずれも１以上の整数である。
具体的には、画像採集装置により撮像された道路状況画像を取得した後、その道路状況画像をインスタンスセグメンテーション（例えば、オブジェクト検出、セマンティックセグメンテーション等）により認識し、対象車両の位置情報と複数の車線区画線の位置情報を確定する。対象車両の位置情報と複数の車線区画線の位置情報とに基づいて、対象車両と複数の車線区画線との距離を確定する。
車両が車線区画線を踏み越える必要のある場合、いずれも車線区画線に近づく必要があることが理解され得る。このように、対象車両といずれかの車線区画線との距離が予め設定された閾値より小さい場合には、その車線区画線を対象車線区画線として確定することにより、すべての対象車両と各車線区画線との相対位置関係を確定しなくても、対象車線区画線を確定することができ、車両の車線区画線踏み越え認識の効率化を図ることができる。なお、予め設定された閾値は、実際のニーズに応じて設定可能であり、ここでは限定をしない。
一実施形態では、上記ステップＳ２０２は、次のステップを含んでもよい。
各道路状況画像における対象車両の中心点位置および複数の車線区画線の直線の方程式に基づいて、各道路状況画像における対象車両と複数の車線区画線との距離を確定する。
例示として、各道路状況画像に対してインスタンスセグメンテーションをした後、各車線区画線に対して対応する直線の方程式を付与するように複数の車線区画線をそれぞれフィッティングする。例えば、ｙ＝ａｘ＋ｂ。対象車両の中心点位置が複数の車線区画線に対応する直線の方程式を算出することにより、対象車両と複数の車線区画線との間の距離の計算に役たち、対象車線区画線を迅速に確定することができ、対象車両の車線区画線踏み越えの認識精度を向上させることができる。
一実施形態では、各道路状況画像における複数の車線区画線の位置情報から対象車線区画線の位置情報を確定することは、
ｉ番目の道路状況画像におけるｊ番目の車線区画線（対象車線区画線）の位置情報と予め設定された追跡ポリシーとに基づいて、複数の道路状況画像におけるｉ＋１番目の道路状況画像における複数の車線区画線の位置情報から対象車線区画線の位置情報を選択することを含む。ここで、ｉ＋１番目の道路状況画像とｉ番目の道路状況画像との撮像オフセット距離は、隣接する２つの車線区画線の間の距離よりも小さい。
例示として、５つの道路状況画像が存在する場合には、インスタンスセグメンテーション後に第１の道路状況画像に５つの車線区画線が存在すると確定し、それぞれ５つの車線区画線の直線の方程式を確定し、それぞれの車線区画線にＩＤを付与して、それぞれのＩＤを１、２、３、４、５とし、第１の画像において３番目の車線区画線が対象車両に近い場合、次の４つの道路状況画像において３番目の車線区画線の位置情報を抽出する。このように、各道路状況画像において対象車線区画線の位置情報を確定することができ、各道路状況画像において対象車線区画線を正確に認識することが確保され、ひいては、対象車両が車線区画線を踏み越えたか否かを正確に認識することができる。
図３は、本出願の他の実施形態に係る車両の車線区画線踏み越え認識方法のフローチャートである。当該実施形態の車両の車線区画線踏み越え認識方法は、以下のステップを含んでもよい。
Ｓ３０１では、各道路状況画像において、対象車両の位置情報および複数の車線区画線の位置情報を確定する。
Ｓ３０２では、各道路状況画像における対象車両の位置情報および複数の車線区画線の位置情報に基づいて、各道路状況画像における対象車両と複数の車線区画線との間の距離を確定する。
Ｓ３０３では、複数の道路状況画像のうちのｉ番目の道路状況画像において、対象車両と複数の車線区画線のうちのｊ番目の車線区画線との距離が予め設定された閾値より小さい場合に、ｊ番目の車線区画線を対象車線区画線として確定し、各道路状況画像における複数の車線区画線の位置情報から対象車線区画線の位置情報を確定する。ここで、ｉとｊは、いずれも１以上の整数である。
Ｓ３０４では、対象車線区画線の位置情報と対象車両の位置情報とに基づいて、各道路状況画像に対応する対象車両と対象車線区画線との相対位置関係を確定する。
Ｓ３０５では、複数の道路状況画像のうちの連続したＭ個の道路状況画像に対応する相対位置関係と、複数の道路状況画像のうちの連続したＮ個の道路状況画像に対応する相対位置関係とが逆である場合、対象車両が車線区画線を踏み越えたと判定する。
ここで、Ｍ個の道路状況画像はＮ個の道路状況画像の前の画像であり、Ｍ個の道路状況画像とＮ個の道路状況画像とが連続しており、ＭとＮはいずれも１以上の整数である。
具体的には、複数の道路状況画像のうちの連続したＭ個の道路状況画像に対応する相対位置関係が第１の相対位置関係であり、複数の道路状況画像のうちの連続したＮ個の道路状況画像に対応する相対位置関係が第２の相対位置関係であり、かつ第１の相対位置関係と第２の相対位置関係とが逆である場合に、対象車両が車線区画線を踏み越えたと判定する。ここで、Ｍ個の道路状況画像はＮ個の道路状況画像の前の画像であり、Ｍ個の道路状況画像とＮ個の道路状況画像とが連続している。連続したＭ個の道路状況画像における第１の相対位置関係と、連続したＮ個の道路状況画像における第２の相対位置関係とを、連続した道路状況画像において確定することにより、連続したＭ個の道路状況画像における対象車両と対象車線区画線との相対位置関係が一致することと、連続したＮ個の道路状況画像における第２の相対位置関係が一致することとが確保され、それにより、第１の相対位置関係と第２の相対位置関係とに基づいて、対象車両が車線区画線を踏み越えたか否かを正確に認識することができる。
例示として、無人機が複数の道路状況画像を撮像した後、インスタンスセグメンテーション（例えば、オブジェクト検出、セマンティックセグメンテーション等）により道路状況画像を認識し、複数の車線区画線をそれぞれフィッティングすることにより、各車線区画線に対応する直線の方程式を与える。例えば、ｙ＝ａｘ＋ｂ。対象車両の中心点位置と複数の車線区画線に対応する直線の方程式との距離を算出し、予め設定された閾値よりも小さい距離の車線区画線を対象車線区画線として選択し、対象車線区画線に対応する直線の方程式を確定する。複数の道路状況画像のうちの連続したＭ個の道路状況画像における対象車両と対象車線区画線との第１の相対位置関係が、対象車両が対象車線区画線の左側に位置することであり、連続したＮ個の道路状況画像における対象車両と対象車線区画線との第２の相対位置関係が、対象車両が対象車線区画線の右側に位置することであり、かつ、Ｍ個の道路状況画像がＮ個の道路状況画像に連続している場合には、第１の相対位置関係と第２の相対位置関係とに基づいて、対象車両が車線区画線を踏み越えたと判定することができる。
図４は、本出願の一実施形態に係る車両の車線区画線踏み越え認識装置のブロック図である。図４に示すように、当該装置は、
複数の道路状況画像のそれぞれにおいて、対象車線区画線の位置情報および対象車両の位置情報を確定するように構成される位置情報確定モジュール４０１と、
対象車線区画線の位置情報と対象車両の位置情報とに基づいて、各道路状況画像に対応する対象車両と対象車線区画線との相対位置関係を確定するように構成される相対位置関係確定モジュール４０２と、
複数の道路状況画像に対応する相対位置関係が予め設定された条件を満たす場合に、対象車両が車線区画線を踏み越えたと判定するように構成される認識モジュール４０３とを備える。
一実施形態では、図５に示すように、当該装置は、複数の道路状況画像を無人機で採集するように構成される画像取得モジュール５０１をさらに備える。
一実施形態では、図５に示すように、位置情報確定モジュール５０２は、
各道路状況画像において、対象車両の位置情報と複数の車線区画線の位置情報を確定するように構成される第１の処理ユニット５０３と、
各道路状況画像における対象車両の位置情報および複数の車線区画線の位置情報に基づいて、各道路状況画像における対象車両と複数の車線区画線との距離を確定するように構成される第２の処理ユニット５０４と、
複数の道路状況画像のうちのｉ番目の道路状況画像において、対象車両と複数の車線区画線のうちのｊ番目の車線区画線との距離が予め設定された閾値より小さい場合に、ｊ番目の車線区画線を対象車線区画線として確定し、各道路状況画像における複数の車線区画線の位置情報から対象車線区画線の位置情報を確定するように構成される第３の処理ユニット５０５と、を備える。ここで、ｉとｊは、いずれも１以上の整数である。
一実施形態では、図５に示すように、位置情報確定モジュール５０２は、複数の道路状況画像のうちの第１の道路状況画像における対象車線区画線の位置情報と、予め設定された追跡ポリシーとに基づいて、複数の道路状況画像のうちの第２の道路状況画像において、対象車線区画線の位置情報を確定するように構成される追跡ユニット５０６を備える。
一実施形態では、図５に示すように、認識モジュールは、複数の道路状況画像のうちの連続したＭ個の道路状況画像に対応する相対位置関係と、複数の道路状況画像のうちの連続したＮ個の道路状況画像に対応する相対位置関係とが逆である場合に、対象車両が車線区画線を踏み越えたと判定するように構成される車線区画線踏み越え認識ユニット５０７を備える。
ここで、Ｍ個の道路状況画像はＮ個の道路状況画像の前の画像であり、Ｍ個の道路状況画像とＮ個の道路状況画像とが連続しており、ＭとＮはいずれも１以上の整数である。
一実施形態では、第２の処理ユニットは、各道路状況画像における対象車両の中心点位置および複数の車線区画線の直線の方程式に基づいて、各道路状況画像における対象車両と複数の車線区画線との距離を確定するように構成される。
このように、本出願の実施形態に係る装置は、各道路状況画像における対象車両の位置情報および対象車線区画線の位置情報に基づいて、各道路状況画像における対象車両と対象車線区画線との相対位置関係を正確に確定することができる。そして、複数の道路状況画像に対応する正確な相対位置関係に基づいて、対象車両が車線区画線を踏み越えたか否かを判定する。複数の道路状況画像を統合して判定し、正確な相対位置関係に基づいて判定するので、対象車両の車線区画線踏み越え認識精度を向上させることができる。
本出願の技術方案では、関連するユーザ個人情報の取得、記憶および応用などは、いずれも関連法律法規の規定に準拠し、且つ公序良俗に反しない。
本出願の実施形態によれば、本出願はさらに電子機器、読み取り可能な記憶媒体およびコンピュータプログラム製品を提供する。
図６は、本出願の実施形態を実施するために使用できる例示的な電子機器６００の概略ブロック図を示している。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレード型サーバ、メインフレームコンピュータおよびその他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。また、電子機器は、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似する計算装置等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも例示であり、ここで記述および／または要求した本出願の実施形態を限定することを意図するものではない。
図６に示すように、電子機器６００は、読み出し専用メモリ（ＲＯＭ）６０２に記憶されているコンピュータプログラム又は記憶ユニット６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたコンピュータプログラムによって様々な適当な動作および処理を実行することができる計算ユニット６０１を備える。ＲＡＭ６０３には、機器６００の動作に必要な様々なプログラムおよびデータがさらに格納されることが可能である。計算ユニット６０１、ＲＯＭ６０２およびＲＡＭ６０３は、バス６０４を介して互いに接続されている。入／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。
電子機器６００において、キーボード、マウスなどの入力ユニット６０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット６０７と、磁気ディスク、光ディスクなどの記憶ユニット６０８と、ネットワークプラグイン、モデム、無線通信送受信機などの通信ユニット６０９とを含む複数のコンポーネントは、Ｉ／Ｏインターフェース６０５に接続されている。通信ユニット６０９は、機器６００がインターネットなどのコンピュータネットワークおよび／または様々な電気通信ネットワークを介して他の装置と情報またはデータのやりとりを可能にする。
計算ユニット６０１は、処理および計算機能を有する様々な汎用および／または専用処理コンポーネントであってもよい。計算ユニット６０１のいくつかの例示として、中央処理装置（ＣＰＵ）、グラフィックスプロセシングユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、および任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット６０１は、上述した車両の車線区画線踏み越え認識方法のような様々な方法および処理を実行する。例えば、いくつかの実施形態では、車両の車線区画線踏み越え認識方法は、記憶ユニット６０８などの機械可読媒体に有形に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施形態では、コンピュータプログラムの一部または全部は、ＲＯＭ６０２および／または通信ユニット６０９を介して機器６００にロードおよび／またはインストールされてもよい。コンピュータプログラムがＲＡＭ６０３にロードされ、計算ユニット６０１によって実行されると、上述の車両の車線区画線踏み越え認識方法の１つまたは複数のステップを実行可能である。あるいは、他の実施形態では、計算ユニット６０１は、他の任意の適切な形態によって（例えば、ファームウェアを介して）車両の車線区画線踏み越え認識方法を実行するように構成されていてもよい。
ここで説明するシステムおよび技術の様々な実施形態はデジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／又はそれらの組み合わせにおいて実現することができる。これらの各実施形態は、１つまたは複数のコンピュータプログラムに実装され、当該１つまたは複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行および／または解釈することができ、当該プログラマブルプロセッサは専用または汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび指令を受信することができ、且つデータおよび指令を当該記憶システム、当該少なくとも１つの入力装置および当該少なくとも１つの出力装置に伝送することを含み得る。
本出願の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語のあらゆる組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラミング可能なデータ処理装置のプロセッサまたはコントローラに提供されることができ、これらのプログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／またはブロック図に規定された機能または動作が実施される。プログラムコードは、完全にデバイス上で実行されることも、部分的にデバイス上で実行されることも、スタンドアロンソフトウェアパッケージとして部分的にデバイス上で実行されながら部分的にリモートデバイス上で実行されることも、または完全にリモートデバイスもしくはサーバ上で実行されることも可能である。
本出願のコンテキストでは、機械可読媒体は、有形の媒体であってもよく、指令実行システム、装置または機器が使用するため、または指令実行システム、装置または機器と組み合わせて使用するためのプログラムを含むか、または格納することができる。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であり得る。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線の、または半導体のシステム、装置または機器、またはこれらのあらゆる適切な組み合わせを含むことができるが、これらに限定されない。機械可読記憶媒体のより具体的な例には、１本または複数本のケーブルに基づく電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、またはこれらのあらゆる適切な組み合わせが含まれ得る。
ユーザとのインタラクションを提供するために、ここで説明するシステムと技術は、ユーザに情報を表示するための表示装置（例えば、陰極線管（ＣａｔｈｏｄｅＲａｙＴｕｂｅ，ＣＲＴ）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えるコンピュータ上で実装することができ、ユーザが該キーボードおよび該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置もユーザとのやりとりを行うことに用いることができる。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく、且つ音入力、音声入力若しくは触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。
ここで説明したシステムおよび技術は、バックグラウンドコンポーネントを含むコンピューティングシステム（例えば、データサーバ）に実施されてもよく、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）に実施されてもよく、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインターフェース又はウェブブラウザを有するユーザコンピュータ）に実施されてもよく、ユーザは該グラフィカルユーザインターフェース又はウェブブラウザを介してここで説明したシステムおよび技術の実施形態とインタラクションしてもよく、又はこのようなバックグラウンドコンポーネント、ミドルウェアコンポーネント又はフロントエンドコンポーネントのいずれかの組み合わせを含むコンピューティングシステムに実施されてもよい。また、システムの各コンポーネントの間は、通信ネットワーク等の任意の形態または媒体を介してデジタルデータ通信により接続されていてもよい。通信ネットワークとしては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットなどを含む。
コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバは、通常、互いに離れており、通信ネットワークを介してやりとりを行う。クライアントとサーバとの関係は、互いにクライアント－サーバの関係を有するコンピュータプログラムをそれぞれのコンピュータ上で動作することによって生成される。
なお、上述した様々な形態のフローを用いて、ステップを改めて並び替え、追加または削除を行うことができる。例えば、本出願に記載された各ステップは、本出願に開示された技術方案の所望の結果が達成できる限り、並行して実行されてもよく、順番に実行されてもよく、異なる順番で実行されてもよい。本明細書はここで制限しない。
上記具体的な実施形態は、本出願の保護範囲を限定するものではない。当業者であれば、設計要件および他の要因に応答して、様々な修正、組み合わせ、副次的な組み合わせ、および置換を行うことができることを理解すべきである。本出願の趣旨および原理を逸脱せずに行われたあらゆる修正、均等な置換および改善などは、いずれも本出願の保護範囲内に含まれるべきである。
 関連出願の相互参照
本出願は、２０２１年６月２８日付で中国国家知識産権局に提出された、出願番号が２０２１１０７１８２４０．５で、発明の名称が「車両の車線区画線踏み越え認識方法、装置、電子機器及び記憶媒体」である中国特許出願に基づく優先権を主張し、当該特許出願の全文を引用により本出願に組み込む。
本出願は人工知能分野に関し、具体的にはコンピュータビジョンと深層学習技術に関し、具体的には知恵都市と高度道路交通シーンに用いることができる。
高度道路交通シーンでは、車両の交通法違反事件を分析する必要がある。実線時の車線変更は交通法違反事件の中で重要な一種である。実線時の車線変更を認識するには、車両が車線区画線を踏み越えたか否かを判断する必要がある。現在、車両が車線区画線を踏み越えたか否かを判断するために視覚分析法が一般的に使用される。関連技術では、単一の道路状況の画像における車両の位置と車線区画線の位置とに基づいて車両の車線区画線踏み越えの有無を判定する。
本出願は車両の車線区画線踏み越え認識方法、装置、電子機器及び記憶媒体を提供する。
本出願の一態様によれば、車両の車線区画線踏み越え認識方法であって、
複数の道路状況画像のそれぞれにおいて、対象車線区画線の位置情報および対象車両の位置情報を確定するステップと、
対象車線区画線の位置情報と対象車両の位置情報とに基づいて、各道路状況画像に対応する対象車両と対象車線区画線との相対位置関係を確定するステップと、
複数の道路状況画像に対応する相対位置関係が予め設定された条件を満たす場合に、対象車両が車線区画線を踏み越えたと判定するステップと、を含む車両の車線区画線踏み越え認識方法を提供する。
本出願の他の態様によれば、車両の車線区画線踏み越え認識装置であって、
複数の道路状況画像のそれぞれにおいて、対象車線区画線の位置情報および対象車両の位置情報を確定するように構成される位置情報確定モジュールと、
対象車線区画線の位置情報と対象車両の位置情報とに基づいて、各道路状況画像に対応する対象車両と対象車線区画線との相対位置関係を確定するように構成される相対位置関係確定モジュールと、
複数の道路状況画像に対応する相対位置関係が予め設定された条件を満たす場合に、対象車両が車線区画線を踏み越えたと判定するように構成される認識モジュールと、
を備える車両の車線区画線踏み越え認識装置を提供する。
本出願の他の態様によれば、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信接続されたメモリとを備える電子機器であって、メモリには、少なくとも１つのプロセッサによって実行可能な指令が格納され、指令が少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに本出願の実施形態のいずれかに記載の方法を実行させる電子機器を提供する。
本出願の他の態様によれば、コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、コンピュータ指令は本出願の実施形態に記載のいずれかの車両の車線区画線踏み越え認識方法をコンピュータに実行させるために用いられる非一時的コンピュータ可読記憶媒体を提供する。
本出願の他の態様によれば、プロセッサによって実行されると、本出願の実施形態に記載のいずれかの車両の車線区画線踏み越え認識方法が実現されるコンピュータプログラムを提供する。
本出願の技術方案によれば、各道路状況画像における対象車両の位置情報および対象車線区画線の位置情報に基づいて、各道路状況画像における対象車両と対象車線区画線との相対位置関係を正確に確定することができる。そして、複数の道路状況画像に対応する正確な相対位置関係に基づいて、対象車両が車線区画線を踏み越えたか否かを判定する。複数の道路状況画像を統合して判定し、正確な相対位置関係に基づいて判定するので、対象車両の車線区画線踏み越え認識精度を向上させることができる。
なお、発明の概要に記載された内容は、本出願の実施形態のかなめとなる特徴または重要な特徴を限定することを意図するものではなく、本出願の範囲を限定するものでもない。本出願の他の特徴は、以下の説明によって容易に理解される。
図面は本出願をよりよく理解するために用いられ、本出願に対する限定ではない。
本出願の一実施形態に係る車両の車線区画線踏み越え認識方法の概略図である。 本出願の他の実施形態に係る車両の車線区画線踏み越え認識方法の概略図である。 本出願の他の実施形態に係る車両の車線区画線踏み越え認識方法の概略図である。 本出願の一実施形態に係る車両の車線区画線踏み越え認識装置の概略図である。 本出願の他の実施形態に係る車両の車線区画線踏み越え認識装置の概略図である。 本出願の実施形態に係る車両の車線区画線踏み越え認識方法を実現するための電子機器のブロック図である。
以下は、図面を参照して本出願の例示的な実施形態を説明し、ここで理解を助けるため、本出願の実施形態の様々な詳細を記載するが、これらは単なる例示的なものに過ぎないことを理解すべきである。従って、本出願の範囲および要旨を逸脱しない限り、当業者が本明細書の実施形態に対して様々な変更および修正を行うことができることを理解すべきである。なお、以下の説明では、明確化および簡略化のため、公知の機能および構成については説明を省略する。
図１は、本出願の一実施形態に係る車両の車線区画線踏み越え認識方法のフローチャートである。図１に示すように、当該方法は、次のステップを含み得る。
Ｓ１０１では、複数の道路状況画像のそれぞれにおいて、対象車線区画線の位置情報および対象車両の位置情報を確定する。
Ｓ１０２では、対象車線区画線の位置情報と対象車両の位置情報とに基づいて、各道路状況画像に対応する対象車両と対象車線区画線との相対位置関係を確定する。
Ｓ１０３では、複数の道路状況画像に対応する相対位置関係が予め設定された条件を満たす場合に、対象車両が車線区画線を踏み越えたと判定する。
ステップＳ１０１では、例えば、画像採集装置を用いて道路状況画像を撮像することができる。このうち、画像採集装置は、例えば無人機または道路上のドーム型カメラ、ボックスカメラなどのカメラである。
例えば、対象車両は、いずれの車両であってもよいし、特定車両であってもよいし、検出された各車両であってもよい。対象車線区画線は、あらゆる車線区画線、指定車線区画線、または検出された各車線区画線であってもよい。また、対象車線区画線は、対象車両に関連する車線区画線、例えば、対象車両に最も近い車線区画線であってもよい。したがって、対象車両に基づいて対象車線区画線を確定してもよい。
例示として、対象車両の位置情報は、画像座標系における車両の中心点又は車両の所定のコーナー点の座標であってもよい。対象車線区画線の位置情報は、画像座標系における曲線の方程式または直線の方程式であってもよい。
ステップＳ１０２では、例示として、対象車両と対象車線区画線との相対位置関係を用いて、対象車両が対象車線区画線の左側または右側にあることを示すことができる。対象車線区画線の位置情報と対象車両の位置情報とを確定した後、対象車両が対象車線区画線の左側または右側に位置すると判断することにより、対象車両が車線区画線を踏み越えたか否かを容易に判断することができる。
ステップＳ１０３では、例示として、予め設定された条件は、複数の道路状況画像に対応する相対位置関係が逆であることを含む。例えば、いくつかの道路状況画像の中には、対象車両が対象車線区画線の左側に位置し、他のいくつかの道路状況画像の中には、対象車両が対象車線区画線の右側に位置する。これにより、複数の道路状況画像に対応する相対位置関係が予め設定された条件を満たすと判定することができる。
例示として、第１の道路状況画像における対象車両と対象車線区画線との相対位置関係と、第２の道路状況画像における対象車両と対象車線区画線との相対位置関係とを照合することにより、第１の道路状況画像における相対位置関係が第２の道路状況画像における相対位置関係と逆である場合に、対象車両が車線区画線を踏み越えたと判定する。
本出願の技術方案によれば、各道路状況画像における対象車両の位置情報および対象車線区画線の位置情報に基づいて、各道路状況画像における対象車両と対象車線区画線との相対位置関係を正確に確定することができる。そして、複数の道路状況画像に対応する正確な相対位置関係に基づいて、対象車両が車線区画線を踏み越えたか否かを判定する。複数の道路状況画像を統合して判定し、正確な相対位置関係に基づいて判定するので、対象車両の車線区画線踏み越え認識精度を向上させることができる。
一実施形態において、方法は、複数の道路状況画像を無人機で採集することをさらに含む。
例示として、画像採集装置は、無人機であってもよく、高速シーンでの道路状況を無人機で連続して撮像することで、複数の連続した道路状況画像を取得してもよい。高速シーンでの道路状況を無人機で撮像して映像を得、映像から複数フレームの道路状況映像画像フレームを取得することも可能である。複数の画像を用いて車両の軌跡をフィッティングし、車両の軌跡と単一画像内の車線区画線との比較結果に基づいて、車両が車線区画線を踏み越えたか否かを判断する場合と比較すると、本方案は、無人機が揺れた場合でも、相対位置関係に基づいて対象車両の車線区画線踏み越えを正確に認識することができる。
一実施形態では、上記ステップＳ１０１は、以下のステップを含んでもよい。
複数の道路状況画像のうちの第１の道路状況画像における対象車線区画線の位置情報と、予め設定された追跡ポリシーとに基づいて、複数の道路状況画像のうちの第２の道路状況画像において対象車線区画線の位置情報を確定する。
例示として、無人機の撮像シーンにおいて、第１の道路状況画像と第２の道路状況画像との撮像オフセット距離（即ち、無人機オフセット距離）は、隣接する２本の車線区画線の間の距離よりも小さい。ここで、予め設定された追跡ポリシーは、第２の道路状況画像における位置情報と、第１の道路状況画像における対象車線区画線の位置情報とのオフセット量が予め設定された閾値よりも小さい車線区画線を、第２の道路状況画像における対象車線区画線として確定してもよい。
例示として、第１の道路状況画像および第２の道路状況画像は、連続した画像であってもよく、例えば、ｉ番目の道路状況画像およびｉ＋１番目の道路状況画像であってもよい。
画像採集装置の前後２枚の道路状況画像の間隔時間が短い（例えば、１秒未満である）ため、予め設定された追跡ポリシーに従って連続した２つの道路状況画像を処理することによって、車線区画線を追跡することができ、これによって第２の道路状況画像において対象車線区画線を正確に認識することができ、対象車両と対象車線区画線との相対位置関係を確定するのに役立ち、さらに対象車両の車線区画線踏み越えの認識精度を向上できる。
例えば、車線追跡の過程中で、第１の道路状況画像において各車線にＩＤを付与し、追跡ポリシーに従って前後２つの道路状況画像を処理することにより、後方の道路状況画像におよてそのＩＤを追跡でき、次の道路状況画像に新たな車線区画線が出現する場合には新たなＩＤを付与し、あるＩＤが後方の道路状況画像に出現しない場合にはその車線区画線が消失したとみなしてその車線区画線を追跡しないようにすることができる。
一実施形態では、上記ステップＳ１０３は、次のステップを含んでもよい。
複数の道路状況画像のうち連続したＭ個の道路状況画像に対応する相対位置関係と、複数の道路状況画像のうち連続したＮ個の道路状況画像に対応する相対位置関係とが逆であれば、対象車両が車線区画線を踏み越えたと判定する。
ここで、Ｍ個の道路状況画像はＮ個の道路状況画像の前の画像であり、Ｍ個の道路状況画像はＮ個の道路状況画像に連続しており、ＭとＮはいずれも１以上の整数である。
具体的には、複数の道路状況画像のうちの連続したＭ個の道路状況画像に対応する相対位置関係が、第１の相対位置関係（例えば、対象車両が対象車線区画線の左側に位置する）であり、複数の道路状況画像のうちの連続したＮ個の道路状況画像に対応する相対位置関係が、第２の相対位置関係（例えば、対象車両が対象車線区画線の右側に位置する）であり、かつ第１の相対位置関係と第２の相対位置関係とが逆である場合に、対象車両が車線区画線を踏み越えたと判定する。
すなわち、Ｍ個の道路状況画像に対応する相対位置関係が同じであり、Ｎ個の道路状況画像に対応する相対位置関係が同じであるが、Ｍ個の道路状況画像に対応する相対位置関係とＮ個の道路状況画像に対応する相対位置関係とが異なっていれば、予め設定された条件を満たし、対象車両が車線区画線を踏み越えたと判定する。
例示として、ＭとＮは同じであっても異なっていてもよい。
例えば、無人機が５つの連続した道路状況画像を撮像し、前の３つ（すなわちＭ＝３）の道路状況画像における対象車両と対象車線区画線との第１の相対位置関係が、対象車両が対象車線区画線の左側に位置することであり、後の２つ（すなわちＮ＝２）の道路状況画像における対象車両と対象車線区画線との第２の相対位置関係が、対象車両が対象車線区画線の右側に位置することである場合、対象車両が車線区画線を踏み越えたと判定する。
このように、連続した道路状況画像において、連続したＭ個の道路状況画像に対応する相対位置関係と、連続したＮ個の道路状況画像に対応する相対位置関係とを確定することにより、連続したＭ個の道路状況画像における対象車両と対象車線区画線との相対位置関係が一致することと、連続したＮ個の道路状況画像における対象車両と対象車線区画線との相対位置関係が一致することとが確保され、ことにより、対象車両と対象車線区画線との相対位置関係が変化した場合に、対象車両が車線区画線を踏み越えたか否かを正確に認識することができる。
図２は、本出願の他の実施形態に係る車両の車線区画線踏み越え認識方法のフローチャートである。当該実施形態の車両の車線区画線踏み越え認識方法は、上記実施形態の各ステップを含んでいてもよい。本実施形態では、Ｓ１０１において、複数の道路状況画像のそれぞれにおいて、対象車線区画線の位置情報および対象車両の位置情報を確定する。
Ｓ２０１では、各道路状況画像において、対象車両の位置情報と複数の車線区画線の位置情報を確定する。
Ｓ２０２では、各道路状況画像における対象車両の位置情報と複数の車線区画線の位置情報とに基づいて、各道路状況画像における対象車両と複数の車線区画線との距離を確定する。
Ｓ２０３では、複数の道路状況画像のうちのｉ番目の道路状況画像において、対象車両と複数の車線区画線のうちのｊ番目の車線区画線との距離が予め設定された閾値より小さい場合に、ｊ番目の車線区画線を対象車線区画線として確定し、各道路状況画像における複数の車線区画線の位置情報から対象車線区画線の位置情報を確定する。ここで、ｉとｊは、いずれも１以上の整数である。
具体的には、画像採集装置により撮像された道路状況画像を取得した後、その道路状況画像をインスタンスセグメンテーション（例えば、オブジェクト検出、セマンティックセグメンテーション等）により認識し、対象車両の位置情報と複数の車線区画線の位置情報を確定する。対象車両の位置情報と複数の車線区画線の位置情報とに基づいて、対象車両と複数の車線区画線との距離を確定する。
車両が車線区画線を踏み越える必要のある場合、いずれも車線区画線に近づく必要があることが理解され得る。このように、対象車両といずれかの車線区画線との距離が予め設定された閾値より小さい場合には、その車線区画線を対象車線区画線として確定することにより、すべての対象車両と各車線区画線との相対位置関係を確定しなくても、対象車線区画線を確定することができ、車両の車線区画線踏み越え認識の効率化を図ることができる。なお、予め設定された閾値は、実際のニーズに応じて設定可能であり、ここでは限定をしない。
一実施形態では、上記ステップＳ２０２は、次のステップを含んでもよい。
各道路状況画像における対象車両の中心点位置および複数の車線区画線の直線の方程式に基づいて、各道路状況画像における対象車両と複数の車線区画線との距離を確定する。
例示として、各道路状況画像に対してインスタンスセグメンテーションをした後、各車線区画線に対して対応する直線の方程式を付与するように複数の車線区画線をそれぞれフィッティングする。例えば、ｙ＝ａｘ＋ｂ。対象車両の中心点位置が複数の車線区画線に対応する直線の方程式を算出することにより、対象車両と複数の車線区画線との間の距離の計算に役たち、対象車線区画線を迅速に確定することができ、対象車両の車線区画線踏み越えの認識精度を向上させることができる。
一実施形態では、各道路状況画像における複数の車線区画線の位置情報から対象車線区画線の位置情報を確定することは、
ｉ番目の道路状況画像におけるｊ番目の車線区画線（対象車線区画線）の位置情報と予め設定された追跡ポリシーとに基づいて、複数の道路状況画像におけるｉ＋１番目の道路状況画像における複数の車線区画線の位置情報から対象車線区画線の位置情報を選択することを含む。ここで、ｉ＋１番目の道路状況画像とｉ番目の道路状況画像との撮像オフセット距離は、隣接する２つの車線区画線の間の距離よりも小さい。
例示として、５つの道路状況画像が存在する場合には、インスタンスセグメンテーション後に第１の道路状況画像に５つの車線区画線が存在すると確定し、それぞれ５つの車線区画線の直線の方程式を確定し、それぞれの車線区画線にＩＤを付与して、それぞれのＩＤを１、２、３、４、５とし、第１の画像において３番目の車線区画線が対象車両に近い場合、次の４つの道路状況画像において３番目の車線区画線の位置情報を抽出する。このように、各道路状況画像において対象車線区画線の位置情報を確定することができ、各道路状況画像において対象車線区画線を正確に認識することが確保され、ひいては、対象車両が車線区画線を踏み越えたか否かを正確に認識することができる。
図３は、本出願の他の実施形態に係る車両の車線区画線踏み越え認識方法のフローチャートである。当該実施形態の車両の車線区画線踏み越え認識方法は、以下のステップを含んでもよい。
Ｓ３０１では、各道路状況画像において、対象車両の位置情報および複数の車線区画線の位置情報を確定する。
Ｓ３０２では、各道路状況画像における対象車両の位置情報および複数の車線区画線の位置情報に基づいて、各道路状況画像における対象車両と複数の車線区画線との間の距離を確定する。
Ｓ３０３では、複数の道路状況画像のうちのｉ番目の道路状況画像において、対象車両と複数の車線区画線のうちのｊ番目の車線区画線との距離が予め設定された閾値より小さい場合に、ｊ番目の車線区画線を対象車線区画線として確定し、各道路状況画像における複数の車線区画線の位置情報から対象車線区画線の位置情報を確定する。ここで、ｉとｊは、いずれも１以上の整数である。
Ｓ３０４では、対象車線区画線の位置情報と対象車両の位置情報とに基づいて、各道路状況画像に対応する対象車両と対象車線区画線との相対位置関係を確定する。
Ｓ３０５では、複数の道路状況画像のうちの連続したＭ個の道路状況画像に対応する相対位置関係と、複数の道路状況画像のうちの連続したＮ個の道路状況画像に対応する相対位置関係とが逆である場合、対象車両が車線区画線を踏み越えたと判定する。
ここで、Ｍ個の道路状況画像はＮ個の道路状況画像の前の画像であり、Ｍ個の道路状況画像とＮ個の道路状況画像とが連続しており、ＭとＮはいずれも１以上の整数である。
具体的には、複数の道路状況画像のうちの連続したＭ個の道路状況画像に対応する相対位置関係が第１の相対位置関係であり、複数の道路状況画像のうちの連続したＮ個の道路状況画像に対応する相対位置関係が第２の相対位置関係であり、かつ第１の相対位置関係と第２の相対位置関係とが逆である場合に、対象車両が車線区画線を踏み越えたと判定する。ここで、Ｍ個の道路状況画像はＮ個の道路状況画像の前の画像であり、Ｍ個の道路状況画像とＮ個の道路状況画像とが連続している。連続したＭ個の道路状況画像における第１の相対位置関係と、連続したＮ個の道路状況画像における第２の相対位置関係とを、連続した道路状況画像において確定することにより、連続したＭ個の道路状況画像における対象車両と対象車線区画線との相対位置関係が一致することと、連続したＮ個の道路状況画像における第２の相対位置関係が一致することとが確保され、それにより、第１の相対位置関係と第２の相対位置関係とに基づいて、対象車両が車線区画線を踏み越えたか否かを正確に認識することができる。
例示として、無人機が複数の道路状況画像を撮像した後、インスタンスセグメンテーション（例えば、オブジェクト検出、セマンティックセグメンテーション等）により道路状況画像を認識し、複数の車線区画線をそれぞれフィッティングすることにより、各車線区画線に対応する直線の方程式を与える。例えば、ｙ＝ａｘ＋ｂ。対象車両の中心点位置と複数の車線区画線に対応する直線との距離を算出し、予め設定された閾値よりも小さい距離の車線区画線を対象車線区画線として選択し、対象車線区画線に対応する直線の方程式を確定する。複数の道路状況画像のうちの連続したＭ個の道路状況画像における対象車両と対象車線区画線との第１の相対位置関係が、対象車両が対象車線区画線の左側に位置することであり、連続したＮ個の道路状況画像における対象車両と対象車線区画線との第２の相対位置関係が、対象車両が対象車線区画線の右側に位置することであり、かつ、Ｍ個の道路状況画像がＮ個の道路状況画像に連続している場合には、第１の相対位置関係と第２の相対位置関係とに基づいて、対象車両が車線区画線を踏み越えたと判定することができる。
図４は、本出願の一実施形態に係る車両の車線区画線踏み越え認識装置のブロック図である。図４に示すように、当該装置は、
複数の道路状況画像のそれぞれにおいて、対象車線区画線の位置情報および対象車両の位置情報を確定するように構成される位置情報確定モジュール４０１と、
対象車線区画線の位置情報と対象車両の位置情報とに基づいて、各道路状況画像に対応する対象車両と対象車線区画線との相対位置関係を確定するように構成される相対位置関係確定モジュール４０２と、
複数の道路状況画像に対応する相対位置関係が予め設定された条件を満たす場合に、対象車両が車線区画線を踏み越えたと判定するように構成される認識モジュール４０３とを備える。
一実施形態では、図５に示すように、当該装置は、複数の道路状況画像を無人機で採集するように構成される画像取得モジュール５０１をさらに備える。
一実施形態では、図５に示すように、位置情報確定モジュール５０２は、
各道路状況画像において、対象車両の位置情報と複数の車線区画線の位置情報を確定するように構成される第１の処理ユニット５０３と、
各道路状況画像における対象車両の位置情報および複数の車線区画線の位置情報に基づいて、各道路状況画像における対象車両と複数の車線区画線との距離を確定するように構成される第２の処理ユニット５０４と、
複数の道路状況画像のうちのｉ番目の道路状況画像において、対象車両と複数の車線区画線のうちのｊ番目の車線区画線との距離が予め設定された閾値より小さい場合に、ｊ番目の車線区画線を対象車線区画線として確定し、各道路状況画像における複数の車線区画線の位置情報から対象車線区画線の位置情報を確定するように構成される第３の処理ユニット５０５と、を備える。ここで、ｉとｊは、いずれも１以上の整数である。
一実施形態では、図５に示すように、位置情報確定モジュール５０２は、複数の道路状況画像のうちの第１の道路状況画像における対象車線区画線の位置情報と、予め設定された追跡ポリシーとに基づいて、複数の道路状況画像のうちの第２の道路状況画像において、対象車線区画線の位置情報を確定するように構成される追跡ユニット５０６を備える。
一実施形態では、図５に示すように、認識モジュールは、複数の道路状況画像のうちの連続したＭ個の道路状況画像に対応する相対位置関係と、複数の道路状況画像のうちの連続したＮ個の道路状況画像に対応する相対位置関係とが逆である場合に、対象車両が車線区画線を踏み越えたと判定するように構成される車線区画線踏み越え認識ユニット５０７を備える。
ここで、Ｍ個の道路状況画像はＮ個の道路状況画像の前の画像であり、Ｍ個の道路状況画像とＮ個の道路状況画像とが連続しており、ＭとＮはいずれも１以上の整数である。
一実施形態では、第２の処理ユニットは、各道路状況画像における対象車両の中心点位置および複数の車線区画線の直線の方程式に基づいて、各道路状況画像における対象車両と複数の車線区画線との距離を確定するように構成される。
このように、本出願の実施形態に係る装置は、各道路状況画像における対象車両の位置情報および対象車線区画線の位置情報に基づいて、各道路状況画像における対象車両と対象車線区画線との相対位置関係を正確に確定することができる。そして、複数の道路状況画像に対応する正確な相対位置関係に基づいて、対象車両が車線区画線を踏み越えたか否かを判定する。複数の道路状況画像を統合して判定し、正確な相対位置関係に基づいて判定するので、対象車両の車線区画線踏み越え認識精度を向上させることができる。
本出願の技術方案では、関連するユーザ個人情報の取得、記憶および応用などは、いずれも関連法律法規の規定に準拠し、且つ公序良俗に反しない。
本出願の実施形態によれば、本出願はさらに電子機器、読み取り可能な記憶媒体およびコンピュータプログラムを提供する。
図６は、本出願の実施形態を実施するために使用できる例示的な電子機器６００の概略ブロック図を示している。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレード型サーバ、メインフレームコンピュータおよびその他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。また、電子機器は、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似する計算装置等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも例示であり、ここで記述および／または要求した本出願の実施形態を限定することを意図するものではない。
図６に示すように、電子機器６００は、読み出し専用メモリ（ＲＯＭ）６０２に記憶されているコンピュータプログラム又は記憶ユニット６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたコンピュータプログラムによって様々な適当な動作および処理を実行することができる計算ユニット６０１を備える。ＲＡＭ６０３には、機器６００の動作に必要な様々なプログラムおよびデータがさらに格納されることが可能である。計算ユニット６０１、ＲＯＭ６０２およびＲＡＭ６０３は、バス６０４を介して互いに接続されている。入／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。
電子機器６００において、キーボード、マウスなどの入力ユニット６０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット６０７と、磁気ディスク、光ディスクなどの記憶ユニット６０８と、ネットワークプラグイン、モデム、無線通信送受信機などの通信ユニット６０９とを含む複数のコンポーネントは、Ｉ／Ｏインターフェース６０５に接続されている。通信ユニット６０９は、機器６００がインターネットなどのコンピュータネットワークおよび／または様々な電気通信ネットワークを介して他の装置と情報またはデータのやりとりを可能にする。
計算ユニット６０１は、処理および計算機能を有する様々な汎用および／または専用処理コンポーネントであってもよい。計算ユニット６０１のいくつかの例示として、中央処理装置（ＣＰＵ）、グラフィックスプロセシングユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、および任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット６０１は、上述した車両の車線区画線踏み越え認識方法のような様々な方法および処理を実行する。例えば、いくつかの実施形態では、車両の車線区画線踏み越え認識方法は、記憶ユニット６０８などの機械可読媒体に有形に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施形態では、コンピュータプログラムの一部または全部は、ＲＯＭ６０２および／または通信ユニット６０９を介して機器６００にロードおよび／またはインストールされてもよい。コンピュータプログラムがＲＡＭ６０３にロードされ、計算ユニット６０１によって実行されると、上述の車両の車線区画線踏み越え認識方法の１つまたは複数のステップを実行可能である。あるいは、他の実施形態では、計算ユニット６０１は、他の任意の適切な形態によって（例えば、ファームウェアを介して）車両の車線区画線踏み越え認識方法を実行するように構成されていてもよい。
ここで説明するシステムおよび技術の様々な実施形態はデジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／又はそれらの組み合わせにおいて実現することができる。これらの各実施形態は、１つまたは複数のコンピュータプログラムに実装され、当該１つまたは複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行および／または解釈することができ、当該プログラマブルプロセッサは専用または汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび指令を受信することができ、且つデータおよび指令を当該記憶システム、当該少なくとも１つの入力装置および当該少なくとも１つの出力装置に伝送することを含み得る。
本出願の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語のあらゆる組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラミング可能なデータ処理装置のプロセッサまたはコントローラに提供されることができ、これらのプログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／またはブロック図に規定された機能または動作が実施される。プログラムコードは、完全にデバイス上で実行されることも、部分的にデバイス上で実行されることも、スタンドアロンソフトウェアパッケージとして部分的にデバイス上で実行されながら部分的にリモートデバイス上で実行されることも、または完全にリモートデバイスもしくはサーバ上で実行されることも可能である。
本出願のコンテキストでは、機械可読媒体は、有形の媒体であってもよく、指令実行システム、装置または機器が使用するため、または指令実行システム、装置または機器と組み合わせて使用するためのプログラムを含むか、または格納することができる。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であり得る。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線の、または半導体のシステム、装置または機器、またはこれらのあらゆる適切な組み合わせを含むことができるが、これらに限定されない。機械可読記憶媒体のより具体的な例には、１本または複数本のケーブルに基づく電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、またはこれらのあらゆる適切な組み合わせが含まれ得る。
ユーザとのインタラクションを提供するために、ここで説明するシステムと技術は、ユーザに情報を表示するための表示装置（例えば、陰極線管（ＣａｔｈｏｄｅＲａｙＴｕｂｅ，ＣＲＴ）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えるコンピュータ上で実装することができ、ユーザが該キーボードおよび該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置もユーザとのやりとりを行うことに用いることができる。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく、且つ音入力、音声入力若しくは触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。
ここで説明したシステムおよび技術は、バックグラウンドコンポーネントを含むコンピューティングシステム（例えば、データサーバ）に実施されてもよく、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）に実施されてもよく、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインターフェース又はウェブブラウザを有するユーザコンピュータ）に実施されてもよく、ユーザは該グラフィカルユーザインターフェース又はウェブブラウザを介してここで説明したシステムおよび技術の実施形態とインタラクションしてもよく、又はこのようなバックグラウンドコンポーネント、ミドルウェアコンポーネント又はフロントエンドコンポーネントのいずれかの組み合わせを含むコンピューティングシステムに実施されてもよい。また、システムの各コンポーネントの間は、通信ネットワーク等の任意の形態または媒体を介してデジタルデータ通信により接続されていてもよい。通信ネットワークとしては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットなどを含む。
コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバは、通常、互いに離れており、通信ネットワークを介してやりとりを行う。クライアントとサーバとの関係は、互いにクライアント－サーバの関係を有するコンピュータプログラムをそれぞれのコンピュータ上で動作することによって生成される。
なお、上述した様々な形態のフローを用いて、ステップを改めて並び替え、追加または削除を行うことができる。例えば、本出願に記載された各ステップは、本出願に開示された技術方案の所望の結果が達成できる限り、並行して実行されてもよく、順番に実行されてもよく、異なる順番で実行されてもよい。本明細書はここで制限しない。
上記具体的な実施形態は、本出願の保護範囲を限定するものではない。当業者であれば、設計要件および他の要因に応答して、様々な修正、組み合わせ、副次的な組み合わせ、および置換を行うことができることを理解すべきである。本出願の趣旨および原理を逸脱せずに行われたあらゆる修正、均等な置換および改善などは、いずれも本出願の保護範囲内に含まれるべきである。

Claims (15)

  1. 複数の道路状況画像のそれぞれにおいて、対象車線区画線の位置情報および対象車両の位置情報を確定するステップと、
    前記対象車線区画線の位置情報と前記対象車両の位置情報とに基づいて、前記各道路状況画像に対応する対象車両と対象車線区画線との相対位置関係を確定するステップと、
    前記複数の道路状況画像に対応する前記相対位置関係が予め設定された条件を満たす場合に、前記対象車両が車線区画線を踏み越えたと判定するステップと、
    を含む車両の車線区画線踏み越え認識方法。
  2. 前記複数の道路状況画像に対応する前記相対位置関係が予め設定された条件を満たす場合に、前記対象車両が車線区画線を踏み越えたと判定するステップは、
    前記複数の道路状況画像のうちの連続したＭ個の道路状況画像に対応する前記相対位置関係と、前記複数の道路状況画像のうちの連続したＮ個の道路状況画像に対応する前記相対位置関係とが逆である場合に、前記対象車両が車線区画線を踏み越えたと判定するステップを含み、
    前記Ｍ個の道路状況画像は、前記Ｎ個の道路状況画像の前の画像であり、かつ前記Ｍ個の道路状況画像と前記Ｎ個の道路状況画像とが連続しており、ＭおよびＮは、いずれも１以上の整数である、
    請求項１に記載の車両の車線区画線踏み越え認識方法。
  3. 複数の道路状況画像のそれぞれにおいて、対象車線区画線の位置情報および対象車両の位置情報を確定するステップは、
    前記各道路状況画像において、前記対象車両の位置情報および複数の車線区画線の位置情報を確定するステップと、
    前記各道路状況画像における前記対象車両の位置情報および前記複数の車線区画線の位置情報に基づいて、前記各道路状況画像における前記対象車両と前記複数の車線区画線との間の距離を確定するステップと、
    前記複数の道路状況画像のうちのｉ番目の道路状況画像において、前記対象車両と前記複数の車線区画線のうちのｊ番目の車線区画線との距離が予め設定された閾値より小さい場合に、前記ｊ番目の車線区画線を前記対象車線区画線として確定し、前記各道路状況画像における複数の車線区画線の位置情報から前記対象車線区画線の位置情報を確定するステップとを含み、
    ここで、ｉとｊは、いずれも１以上の整数である、請求項１または２に記載の車両の車線区画線踏み越え認識方法。
  4. 前記各道路状況画像における前記対象車両の位置情報および前記複数の車線区画線の位置情報に基づいて、前記各道路状況画像における前記対象車両と前記複数の車線区画線との間の距離を確定するステップは、
    前記各道路状況画像における前記対象車両の中心点位置および前記複数の車線区画線の直線の方程式に基づいて、前記各道路状況画像における前記対象車両と前記複数の車線区画線との間の距離を確定するステップを含む、
    請求項３に記載の車両の車線区画線踏み越え認識方法。
  5. 複数の道路状況画像のそれぞれにおいて、対象車線区画線の位置情報を確定するステップは、
    前記複数の道路状況画像のうちの第１の道路状況画像における前記対象車線区画線の位置情報と、予め設定された追跡ポリシーとに基づいて、前記複数の道路状況画像のうちの第２の道路状況画像において、前記対象車線区画線の位置情報を確定するステップを含む、
    請求項１に記載の車両の車線区画線踏み越え認識方法。
  6. 前記複数の道路状況画像を無人機で採集するステップをさらに含む、請求項１～５のいずれか１項に記載の車両の車線区画線踏み越え認識方法。
  7. 複数の道路状況画像のそれぞれにおいて、対象車線区画線の位置情報および対象車両の位置情報を確定するように構成される位置情報確定モジュールと、
    前記対象車線区画線の位置情報と前記対象車両の位置情報とに基づいて、前記各道路状況画像に対応する対象車両と対象車線区画線との相対位置関係を確定するように構成される相対位置関係確定モジュールと、
    前記複数の道路状況画像に対応する前記相対位置関係が予め設定された条件を満たす場合に、前記対象車両が車線区画線を踏み越えたと判定するように構成される認識モジュールと、
    を備える車両の車線区画線踏み越え認識装置。
  8. 前記認識モジュールは、
    前記複数の道路状況画像のうちの連続したＭ個の道路状況画像に対応する前記相対位置関係と、前記複数の道路状況画像のうちの連続したＮ個の道路状況画像に対応する前記相対位置関係とが逆である場合に、前記対象車両が車線区画線を踏み越えたと判定するように構成される車線区画線踏み越え認識ユニットを備え、
    前記Ｍ個の道路状況画像は、前記Ｎ個の道路状況画像の前の画像であり、かつ前記Ｍ個の道路状況画像と前記Ｎ個の道路状況画像とが連続しており、ＭおよびＮは、いずれも１以上の整数である、
    請求項７に記載の車両の車線区画線踏み越え認識装置。
  9. 前記位置情報確定モジュールは、
    前記各道路状況画像において、前記対象車両の位置情報および複数の車線区画線の位置情報を確定するように構成される第１の処理ユニットと、
    前記各道路状況画像における前記対象車両の位置情報および前記複数の車線区画線の位置情報に基づいて、前記各道路状況画像における前記対象車両と前記複数の車線区画線との間の距離を確定するように構成される第２の処理ユニットと、
    前記複数の道路状況画像のうちのｉ番目の道路状況画像において、前記対象車両と前記複数の車線区画線のうちのｊ番目の車線区画線との距離が予め設定された閾値より小さい場合に、前記ｊ番目の車線区画線を前記対象車線区画線として確定し、前記各道路状況画像における複数の車線区画線の位置情報から前記対象車線区画線の位置情報を確定するように構成される第３の処理ユニットと、を備え、
    ここで、ｉとｊは、いずれも１以上の整数である請求項７または８に記載の車両の車線区画線踏み越え認識装置。
  10. 前記第２の処理ユニットは、
    前記各道路状況画像における前記対象車両の中心点位置および前記複数の車線区画線の直線の方程式に基づいて、前記各道路状況画像における前記対象車両と前記複数の車線区画線との間の距離を確定するように構成される
    請求項９に記載の車両の車線区画線踏み越え認識装置。
  11. 前記位置情報確定モジュールは、
    前記複数の道路状況画像のうちの第１の道路状況画像における前記対象車線区画線の位置情報と、予め設定された追跡ポリシーとに基づいて、前記複数の道路状況画像のうちの第２の道路状況画像において、前記対象車線区画線の位置情報を確定するように構成される追跡ユニットを備える、請求項７に記載の車両の車線区画線踏み越え認識装置。
  12. 前記複数の道路状況画像を無人機で採集するように構成される画像取得モジュールをさらに備える請求項７～１１のいずれか１項に記載の車両の車線区画線踏み越え認識装置。
  13. 少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信接続されたメモリとを備える電子機器であって、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な指令が格納されており、前記指令が前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに請求項１～６のいずれか１項に記載の車両の車線区画線踏み越え認識方法を実行させる、電子機器。
  14. コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、
    前記コンピュータ指令はコンピュータに請求項１～６のいずれか１項に記載の車両の車線区画線踏み越え認識方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体。
  15. プロセッサによって実行されると、請求項１～６のいずれか１項に記載の車両の車線区画線踏み越え認識方法が実現されるコンピュータプログラムを含むコンピュータプログラム製品。

JP2022546572A 2021-06-28 2022-01-29 車両の車線区画線踏み越え認識方法、装置、電子機器、記憶媒体及びコンピュータプログラム Pending JP2023535661A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110718240.5 2021-06-28
CN202110718240.5A CN113392794B (zh) 2021-06-28 2021-06-28 车辆跨线识别方法、装置、电子设备和存储介质
PCT/CN2022/075117 WO2023273344A1 (zh) 2021-06-28 2022-01-29 车辆跨线识别方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
JP2023535661A true JP2023535661A (ja) 2023-08-21

Family

ID=83115301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022546572A Pending JP2023535661A (ja) 2021-06-28 2022-01-29 車両の車線区画線踏み越え認識方法、装置、電子機器、記憶媒体及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US20220375118A1 (ja)
JP (1) JP2023535661A (ja)
KR (1) KR20220119167A (ja)

Also Published As

Publication number Publication date
KR20220119167A (ko) 2022-08-26
US20220375118A1 (en) 2022-11-24

Similar Documents

Publication Publication Date Title
JP7314213B2 (ja) 車両測位方法、装置、電子デバイス、記憶媒体及びプログラム
JP7273129B2 (ja) 車線検出方法、装置、電子機器、記憶媒体及び車両
EP3919862A1 (en) Method and apparatus for annotating virtual lane at crossing
JP2021119507A (ja) 車線の決定方法、車線測位精度の評価方法、車線の決定装置、車線測位精度の評価装置、電子デバイス、コンピュータ可読記憶媒体、及びプログラム
WO2023273344A1 (zh) 车辆跨线识别方法、装置、电子设备和存储介质
CN109635861B (zh) 一种数据融合方法、装置、电子设备及存储介质
EP4177836A1 (en) Target detection method and apparatus, and computer-readable medium and electronic device
CN111666876A (zh) 用于检测障碍物的方法、装置、电子设备和路侧设备
CN113762272A (zh) 道路信息的确定方法、装置和电子设备
CN111353466A (zh) 车道线识别处理方法、设备、存储介质
CN109300322B (zh) 引导线绘制方法、装置、设备和介质
CN114565908A (zh) 车道线的检测方法、装置、电子设备及存储介质
US11443621B2 (en) Method and apparatus for adjusting channelization of traffic intersection
CN114186007A (zh) 高精地图生成方法、装置、电子设备和存储介质
CN113011298A (zh) 截断物体样本生成、目标检测方法、路侧设备和云控平台
US20230169680A1 (en) Beijing baidu netcom science technology co., ltd.
EP4080479A2 (en) Method for identifying traffic light, device, cloud control platform and vehicle-road coordination system
JP2023535661A (ja) 車両の車線区画線踏み越え認識方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN114429631A (zh) 三维对象检测方法、装置、设备以及存储介质
CN115147809A (zh) 一种障碍物检测方法、装置、设备以及存储介质
CN114581869A (zh) 确定目标对象位置的方法、装置、电子设备和存储介质
CN113762397A (zh) 检测模型训练、高精度地图更新方法、设备、介质及产品
CN113591569A (zh) 障碍物检测方法、装置、电子设备以及存储介质
CN112507957A (zh) 一种车辆关联方法、装置、路侧设备及云控平台
CN112988932A (zh) 高精地图标注方法、装置、设备、可读存储介质及产品

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130