JP2023524623A - 交通異常を検出するための方法、装置、機器、記憶媒体およびプログラム - Google Patents

交通異常を検出するための方法、装置、機器、記憶媒体およびプログラム Download PDF

Info

Publication number
JP2023524623A
JP2023524623A JP2022555976A JP2022555976A JP2023524623A JP 2023524623 A JP2023524623 A JP 2023524623A JP 2022555976 A JP2022555976 A JP 2022555976A JP 2022555976 A JP2022555976 A JP 2022555976A JP 2023524623 A JP2023524623 A JP 2023524623A
Authority
JP
Japan
Prior art keywords
vehicle
abnormally stopped
traffic
vehicles
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022555976A
Other languages
English (en)
Inventor
瑩瑩 李
嘯 譚
昊 孫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2023524623A publication Critical patent/JP2023524623A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本開示は、人工知能分野、特にコンピュータビジョンおよび深層学習技術の分野に関する、交通異常を検出するための方法、装置、機器、記憶媒体、およびプログラム製品を提供し、高度道路交通のシーンに適用できる。当該方法の一具体的な実施形態は、交通映像ストリームを取得するステップと、交通映像ストリームに対して車両の検出・追跡を行い、異常停車の車両が存在するか否かを判断し、停止時間が所定時間を超えた場合、異常停車であると判定するステップと、異常停車中の車両が存在する場合、決定木を用いて異常停車に対応する映像フレームに対して交通異常の分類を行い、交通異常の種別を得るステップと、を含み、決定木は、交通異常で検出された特徴に基づいて生成される。当該実施形態により、交通異常検出のロバストネスが向上された。

Description

＜関連出願の相互参照＞
本開示は、２０２１年４月１５日に提出した、出願番号が２０２１１０４０４４１１．７で、発明の名称が「交通異常を検出するための方法、装置、機器、記憶媒体およびプログラム製品」である中国特許出願に基づく優先権を主張し、当該出願の全文を引用により本開示に組み込む。
本開示は、人工知能分野に関し、具体的にコンピュータビジョンと深層学習技術に関し、高度道路交通のシーンに適用できる。
交通異常の検出は、都市の安全に非常に重要な役割を果たしており、交通異常が交通の通行効率を大幅に低下させるため、その検出と監視が必要である。交通異常が発生した場合、速やかに警察への通報と救援を行うことで、交通異常による交通の不具合を速やかに検出し、正常な交通に復旧することができる。
従来の交通異常検出方法には、主に電磁誘導ループコイル式と波式があり、いずれも車両が通過する際の反射波の周波数変化を利用して車両情報を検出するものである。
本開示の実施形態は、交通異常を検出するための方法、装置、機器、記憶媒体およびプログラム製品を提出する。
第１の態様では、本開示の実施形態は、交通映像ストリーム（ｖｉｄｅｏ ｓｔｒｅａｍ）を取得するステップと、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断し、停止時間が所定時間を超えた場合、異常停車であると判定するステップと、異常停車中の車両が存在する場合、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るステップと、を含み、決定木は、交通異常で検出された特徴に基づいて生成される、交通異常を検出するための方法を提供する。
第２の態様では、本開示の実施形態は、交通映像ストリームを取得するように構成される取得モジュールと、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断し、停止時間が所定時間を超えた場合、異常停車であると判定するように構成される追跡モジュールと、異常停車中の車両が存在する場合、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るように構成される分類モジュールとを備え、決定木は、交通異常で検出された特徴に基づいて生成される、交通異常を検出するための装置を提供する。
第３の態様では、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、メモリには、少なくとも１つのプロセッサによって実行可能な指令が格納されており、指令が少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに第１態様のいずれかの実施形態に記載の方法を実行させる、電子機器を提供する。
第４の態様では、コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、コンピュータ指令はコンピュータに第１態様のいずれかの実施形態に記載の方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体を提供する。
第５の態様では、プロセッサによって実行されると、第１態様のいずれかの実施形態に記載の方法が実行されるコンピュータプログラムを含むコンピュータプログラム製品を提供する。
なお、発明の概要に記載された内容は、本開示の実施形態のかなめとなる特徴または重要な特徴を限定することを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明によって理解しやすくなる。
本開示の他の特徴、目的および利点は、以下の図面を参照してなされる非限定的な実施形態に係る詳細な説明を読むことにより、より明らかになる。図面は本開示をよりよく理解するために用いられ、本開示に対する限定を構成しない。
本開示の実施形態を適用可能な例示的なシステムアーキテクチャを示す図である。 本開示に係る交通異常を検出するための方法の一実施形態のフローチャートである。 決定木の概略図である。 本開示に係る交通異常を検出するための方法のもう一つの実施形態のフローチャートである。 本開示に係る交通異常を検出するための装置の一実施形態の構造概略図である。 本開示の実施形態に係る交通異常を検出するための方法を実現するための電子機器のブロック図である。
以下は、図面を参照して本開示の例示的な実施形態を説明し、ここで理解を助けるため、本開示の実施形態の様々な詳細を記載するが、これらは単なる例示的なものに過ぎないことを理解すべきである。従って、本開示の範囲および要旨を逸脱しない限り、当業者が本明細書の実施形態に対して様々な変更および修正を行うことができることを理解すべきである。なお、以下の説明では、明確化および簡略化のため、公知の機能および構成については説明を省略する。
なお、本開示の実施形態および実施形態における特徴は、矛盾が生じない限り、相互に組み合わせることができる。以下、図面および実施形態を参照しながら本開示を詳細に説明する。
図１は、本開示の実施形態に係る交通異常を検出するための方法または交通異常を検出するための装置の実施形態が適用可能な例示的なシステムアーキテクチャ１００を示している。
図１に示すように、システムアーキテクチャ１００は、映像採集装置１０１と、ネットワーク１０２と、サーバ１０３とを含んでもよい。ネットワーク１０２は、映像採集装置１０１とサーバ１０３との間に通信リンクを提供するための媒体として使用される。ネットワーク１０２は、有線、無線通信リンクまたは光ファイバケーブルなどのような様々なタイプの接続を含んでもよい。
画像等を送受信するために、映像採集装置１０１は、ネットワーク１０２を介してサーバ１０３と情報のやり取りをすることができる。
映像採集装置１０１は、ハードウェアであってもよいし、ソフトウェアであってもよい。映像採集装置１０１がハードウェアである場合、カメラ付きのさまざまな電子機器であってもよい。映像採集装置１０１がソフトウェアである場合、上記電子機器にインストールされてもよい。複数のソフトウェア若しくはソフトウェアモジュールとして実装されてもよく、または単一のソフトウェア若しくはソフトウェアモジュールとして実装されてもよい。ここでは特に限定しない。
サーバ１０３は、様々なサービスを提供できる。例えば、サーバ１０３は、映像採集装置１０１から取得された交通映像ストリームを解析することなど処理してもよく、処理結果（例えば、交通異常の種別）を生成することができる。
なお、サーバ１０３は、ハードウェアであってもよいし、ソフトウェアであってもよい。サーバ１０３がハードウェアである場合、複数のサーバから構成される分散サーバクラスターとしても、単一のサーバとしても実装可能である。サーバ１０３がソフトウェアである場合、複数のソフトウェア若しくはソフトウェアモジュール（例えば、分散サービスを提供するためのもの）として実装されてもよく、または単一のソフトウェア若しくはソフトウェアモジュールとして実装されてもよい。ここでは特に限定しない。
なお、本開示の実施形態に係る交通異常を検出するための方法は、通常、サーバ１０３によって実行され、これに対応して、交通異常を検出するための装置は、通常にサーバ１０３に設けられている。
図１における映像採集装置、ネットワークおよびサーバの数は例示的なものに過ぎないことを理解すべきである。実装の必要に応じて、映像採集装置、ネットワークおよびサーバの数を任意に加減してもよい。
次に、本開示に係る交通異常を検出するための方法の一実施形態のフロー２００を示す図２を参照する。当該交通異常を検出するための方法は、次のステップを含む。
ステップ２０１では、交通映像ストリームを取得する。
本実施形態では、交通異常を検出するための方法の実行主体（例えば、図１に示すサーバ１０３）は、映像採集装置（例えば、図１に示す映像採集装置１０１）から交通映像ストリームを取得することができる。
通常、映像採集装置は、そのカメラ範囲内の映像ストリームを採集するために固定されるように取り付けられている。例えば、信号柱または監視灯柱に設けられた監視カメラは、交通映像ストリームを採集することができ、高度道路交通の分野に応用できる。そのうち、映像採集装置は一定の期間（例えば４０ミリ秒）ごとに静止画像を連続的に採集することができ、交通映像ストリームを得ることができる。交通映像ストリームは、車両、歩行者などの通行過程を記録することができる。
ステップ２０２では、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断する。
本実施形態では、上記実行主体は、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断することができる。
通常、車両の通行中に、正常な車両が正常に停止する（例えば、信号待ち）場合は停止時間が短い。異常車両の異常停止（例えば、強制された停車または違法停車など）の場合、停止時間が長い。このため、停止時間が所定期間（例えば１０分間）を超えた車両を異常停車の車両として特定することができる。
上記実行主体は、交通映像ストリーム中の任意の車両について、交通映像ストリーム中の映像フレームにおける当該車両の位置を検出することができる。連続して一定数（例えば１５００フレーム）の映像フレームにおける当該車両の位置が変化しない場合、当該車両は異常停車中の車両であると判定する。映像採集装置は一定の時間（例えば４０ミリ秒）ごとに１フレームの映像フレームを採集するので、時間間隔と位置が変化しない映像フレームの数との積を計算すれば、当該車両の停止時間を得ることができる。
ステップ２０３では、異常停車中の車両が存在する場合、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得る。
本実施形態では、異常停車中の車両が存在する場合、上記実行主体は、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得ることができる。ここで、交通異常の種別としては、車両同士の衝突、車と人の衝突、駐車禁止違反、および車両故障などのタイプを含むが、これらに限定されるものではない。
ここで、決定木は、交通異常で検出された特徴に基づいて生成されてもよい。異なる交通異常の種別は異なる特徴に対応しており、ここでは異なる交通異常の種別の特徴に基づいて決定木を構築することができる。決定木は、ルートノードと内部ノードを入力特徴の判定条件とし、リーフノードを最終結果とする木である。
理解を助けるために、図３は決定木の概略図を示している。図３に示すように、トレーニングデータの入力は、異常停車中の車両の有無、異常停車中の車両の数が複数であるか否か、異常停車中の車両同士に接触があるか否か、異常な状態の人体が存在するか否か、異常停車中の車両の停止位置が道路側にあるか否か、警告標識が存在するか否かの計６つの特徴がある。これらのトレーニングデータから決定木を構築することができる。具体的に、次の通りである。
まず、ルートノードを選択する。
様々なタイプの交通異常に車両の異常停車が存在する。したがって、異常停車中の車両の有無をルートノード３０１としてもよい。
次に、内部ノードとリーフノードを選択する。
また、「車両同士の衝突」というタイプの特徴はさらに、異常停車中の車両の数が複数であること、異常停車中の車両同士が接触したことも含まれる。したがって、異常停車中の車両の数が複数であるか否かをルートノード３０１の子ノード３０２とし、異常停車中の車両同士に接触があったか否かをノード３０２の子ノード３０３とし、「車両同士の衝突」というタイプをノード３０３のリーフノード３０４としてもよい。
「車と人の衝突」タイプの特徴の場合は、異常停車中の車両の数が複数であるか単一であるかを制限しない。異常停車中の車両の数が１台であるという特徴を含む場合は、異常な状態の人体が存在することもさらに含む。異常停車中の車両の数が複数であるという特徴を含む場合は、異常停車中の車両同士に接触がなく、異常な状態の人体が存在することもさらに含む。したがって、異常な状態の人体が存在するか否かをノード３０２とノード３０３の子ノード３０５とし、「車と人の衝突」というタイプをノード３０５のリーフノード３０６としてもよい。
同様に、「駐車禁止違反」タイプの特徴も、異常停車中の車両の数が複数であるか単一であるかを制限しない。異常停車中の車両の数が１台であるという特徴を含む場合は、異常な状態の人体が存在しないことと、異常停車中の車両の停止位置が道路側にあることとをさらに含む。異常停車中の車両の数が複数であるという特徴を含む場合は、異常停車中の車両同士に接触がないことと、異常な状態の人体が存在しないことと、異常停車中の車両の停止位置が道路側にあることとをさらに含む。このため、異常停車中の車両の停止位置が道路側にあるか否かをノード３０５の子ノード３０７とし、「駐車禁止違反」タイプをノード３０７のリーフノード３０８としてもよい。
同様に、「車両故障」タイプの特徴も、異常停車中の車両の数が複数であるか単一であるかを制限しない。異常停車中の車両の数が１台であるという特徴を含む場合は、異常な状態の人体が存在しないことと、異常停車中の車両の停止位置が道路側にないことと、警告標識が存在することとをさらに含む。異常停車中の車両の数が複数であるという特徴を含む場合は、異常停車中の車両同士に接触がないことと、異常な状態の人体が存在しないことと、異常停車中の車両の停止位置が道路側にないことと、警告標識が存在することとをさらに含む。したがって、警告標識の有無をノード３０７の子ノード３０９とし、「車両故障」タイプをノード３０９のリーフノード３１０としてもよい。また、特徴に警告標識が存在しないことがさらに含まれる場合は「駐車禁止違反」タイプに対応する。したがって、リーフノード３０８をノード３０９のリーフノードとしてもよい。
本開示の実施形態は、映像ストリームに基づく交通異常検出方法を提供し、まず交通映像ストリームに対して検出、追跡を行い、異常停車中の車両を特定し、その後決定木を用いて交通異常の分類を行い、高度道路交通システムに組み込むことで、問題を早急に突き止め、正常な交通を回復することができる。また、検出および追跡によって異常停車中の車両を特定することで、撮影角度の変化、高密度の車両の流れ、目標車両ギア、天気の状況（例えば、雨、雪）、光の照射の変化（例えば、昼と夜）、採集データの解像度の低下と真実のシーンデータの不足などの要因の影響を受けず、交通異常の検出のロバストネスを高めた。決定木による交通異常の分類は、決定木が交通異常で検出された特徴に基づいて生成されたものであるため、より全面的な交通情報を提供することができ、交通異常の検出結果をより全面的にすることができる。
さらに、本開示に係る交通異常を検出するための方法のもう一つの実施形態のフロー４００を示す図４を参照する。当該交通異常を検出するための方法は、次のステップを含む。
ステップ４０１では、交通映像ストリームを取得する。
ステップ４０２では、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断する。
本実施形態では、ステップ４０１～４０２の具体的な動作は、図２に示す実施形態のステップ２０１～２０２の動作に詳しく説明したので、ここではその説明を省略する。
本実施形態のいくつかのオプション的な実施形態では、上記実行主体は、交通映像ストリームを事前トレーニング済みの車両検出追跡モデルに入力して車両検出追跡結果を取得し、車両検出追跡結果に基づいて異常停車中の車両が存在するか否かを判定することができる。ここで、車両検出追跡結果は車両の走行軌跡を含んでもよい。車両の走行軌跡は、車両位置が時間とともに変化することを表すことができる。車両の走行軌跡中の車両位置が所定時間を超えても変化しない場合は、異常停車中の車両であることを意味する。車両検出追跡モデルは、車両を検出、追跡するために用いることができ、トレーニングサンプルセットを用いてニューラルネットワークをトレーニングして得られる。ここでのトレーニングサンプルセットのトレーニングサンプルは、サンプル交通映像ストリームおよびサンプル車両走行軌跡を含んでもよい。深層学習方法に基づいて車両の検出、追跡を行うことで、車両検出追跡の効率と精度を向上させた。
ステップ４０３では、異常停車中の車両の数を統計し、複数であるか否かを判断する。
本実施形態では、異常停車中の車両が存在する場合、上記実行主体は、異常停車中の車両の数を統計し、複数であるか否かを判断することができる。異常停車中の車両の数が複数である場合はステップ４０４を実行し、異常停車中の車両の数が１台である場合はステップ４０６を実行する。
なお、異常停車中の車両の数を統計する場合、同一映像フレームに存在する異常停車中の車両の数を統計する。車両検出追跡時、交通映像ストリーム中の映像フレームをフレーム毎に検出追跡するので、車両の検出、追跡結果を得る際に、異常停車中の車両の数を同時に得ることができる。
ステップ４０４では、異常停車中の車両同士に接触の有無を判断する。
本実施形態では、異常停車中の車両の数が複数である場合に、上記実行主体は、異常停車中の車両同士が接触しているか否かを判断することができる。異常停車中の車両間に接触がある場合、ステップ４０５を実行し、異常停車中の車両間に接触がない場合、ステップ４０６を実行する。
本実施形態のいくつかのオプション的な実施形態では、上記実行主体は、異常停車中の車両の境界ボックス間のＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を計算してもよい。ＩｏＵが０に等しいでない場合には、異常停車中の車両間に接触があると判定し、ＩｏＵが０に等しいである場合には、異常停車中の車両間に接触がないと判定することにより、異常停車中の車両間の接触の有無を迅速に判定することができるようになる。
一般的に、交通映像ストリームに対して車両の検出、追跡を行う場合、車両の位置を特定するために車両の境界ボックスを検出するようにする。異常停車中の車両の数が複数である場合は、対応する映像フレームに異常停車中の車両の境界ボックスが複数存在することになる。少なくとも２つの異常停車中の車両の境界ボックスに交差が存在し、ＩｏＵが０に等しいでない場合、異常停車中の車両同士に接触があることを意味する。もし、すべての異常停車中の車両の境界ボックスのいずれも交差が存在しておらず、ＩｏＵが０に等しいである場合、異常停車中の車両同士に接触がないことを意味する。
ステップ４０５では、「車両同士の衝突」タイプであると判定する。
本実施形態では、異常停車中の車両の数が複数であり、かつ、異常停車中の車両同士が接触している場合には、「車両同士の衝突」タイプであると判定することができる。
ステップ４０６では、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断する。
本実施形態では、異常停車中の車両の数が１台である場合、または、異常停車中の車両の数が複数であって車両同士に接触がない場合に、上記実行主体はさらに、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断することができる。異常な状態の人体が存在する場合はステップ４０７を実行し、異常な状態の人体が存在しない場合はステップ４０８を実行する。ここで、異常な状態の人体とは、行動が異常な人体であってもよい。例えば、正常な通行の時に、道路上の歩行者は、直立の姿で歩行するかライド姿で走行する。交通事故が発生した場合、道路上の歩行者は、通常、地面に座ったり、地面に横たわったりする。異常な状態の人体は、地面に座ったり、地面に横たわったりする人体であってもよい。
本実施形態のいくつかのオプション的な実施形態では、上記実行主体は、異常停車に対応する映像フレームを事前トレーニング済みの人体行動モデルに入力して人体行動結果を取得し、人体行動結果に基づいて、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判定することができる。そのうち、人体行動結果は人体行動を記録するために用いられ、人体行動が地面に座り、または地面に横たわる場合、対応する人体は異常な状態の人体になる。人体行動モデルは人体行動の検出に用いることができ、トレーニングサンプルセットを用いてニューラルネットワークをトレーニングして得られたものである。ここでのトレーニングサンプルセット内のトレーニングサンプルは、サンプル映像フレームおよびサンプル人体行動ラベルを含んでもよい。深層学習方法に基づいて人体行動を検出することで、人体行動の検出効率と精度を向上した。
ステップ４０７では、「車と人の衝突」タイプであると判定する。
本実施形態では、異常な状態の人体が存在する場合、「車と人の衝突」タイプであると判定できる。
ステップ４０８では、異常停車中の車両の停止位置が道路側にあるか否かを判断する。
本実施形態では、異常な状態の人体が存在しない場合に、上記実行主体は、異常停車中の車両の停止位置が道路側にあるか否かを判断することができる。異常停車中の車両の停止位置が道路側にある場合はステップ４１１を実行し、異常停車中の車両の停止位置が道路側にない場合はステップ４０９を実行する。
通常、道路側領域を予め入力しておき、車両位置が道路側領域内にあるか否かを特定することができる。車両位置が道路側領域内にある場合、異常停車中の車両の停止位置が道路側にあることを意味し、車両位置が道路側領域外にある場合、異常停車中の車両の停止位置が道路側にないことを意味する。
ステップ４０９では、異常停車に対応する映像フレームに警告標識が存在するか否かを判断する。
本実施形態では、異常停車中の車両の停止位置が道路側にない場合に、上記実行主体は、異常停車に対応する映像フレームに警告標識が存在するか否かを判断することができる。警告標識が存在する場合はステップ４１０を実行し、警告標識が存在しない場合はステップ４１１を実行する。ここでの警告標識は通常、三角の標識である。
本実施形態のいくつかのオプション的な実施形態では、上記実行主体は、異常停車に対応する映像フレームを事前トレーニング済みの警告標識検出モデルに入力して警告標識検出結果を取得し、警告標識検出結果に基づいて、異常停車に対応する映像フレームに警告標識が存在するか否かを判断することができる。このうち、警告標識検出モデルは、警告標識の検出に用いることができ、トレーニングサンプルセットを用いてニューラルネットワークをトレーニングして得られる。ここでのトレーニングサンプルセットのトレーニングサンプルは、サンプル映像フレームおよびサンプル警告標識ラベルを含んでもよい。深層学習方法に基づいて警告標識を検出することにより、警告標識の検出効率と精度を向上した。
ステップ４１０では、「車両故障」タイプであると判定する。
本実施形態では、警告標識が存在する場合、「車両故障」タイプであると判定することができる。
ステップ４１１では、「駐車禁止違反」タイプであると判定する。
本実施形態では、異常停車中の車両の停止位置が道路側にある場合、または、異常停車中の車両の停止位置が道路側ではなく、かつ、警告標識が存在しない場合は、「駐車禁止違反」タイプであると判定することができる。
図４から分かるように、図２の対応する実施形態と比較すると、本実施形態における交通異常を検出するための方法は、交通異常を分類するステップが強調されている。このように、本実施形態では、交通映像ストリームから交通異常検出の特徴をマイニング、交通異常検出の特徴に基づいて決定木を探索することにより、交通異常の種別を迅速にマッチングして見つけ出すことができる。例えば、異常停車中の車両の数が複数であり、車両同士に接触があるという特徴を検出した場合には、「車両同士の衝突」というタイプを決定木から迅速に見つけ出すことができる。異常停車中の車両の数が１台であり、異常な状態の人体が存在するという特徴を検出した場合、または、異常停車中の車両の数が複数であり、車両同士に接触がないという特徴を検出した場合、および異常な状態の人体が存在する特徴を検出した場合には、「車と人の衝突」というタイプを決定木から迅速に見つけ出すことができる。異常停車中の車両の数が１台であり、異常な状態の人体が存在せず、及び異常停車中の車両の停止位置が道路側にあるという特徴を検出した場合、または、異常停車中の車両の数が複数であり、車両同士に接触がなく、異常な状態の人体が存在せず、及び異常停車中の車両の停止位置が道路側にあるという特徴を検出した場合、または、異常停車中の車両の数が１台であり、異常な状態の人体が存在せず、異常停車中の車両の停止位置が道路側ではなく、警告標識がないという特徴を検出した場合、または、異常停車中の車両の数が複数であり、かつ車両同士に接触がなく、異常な状態の人体が存在せず、異常停車中の車両の停止位置が道路側ではなく、及び警告標識がないという特徴を検出した場合、「駐車禁止違反」というタイプを決定木から迅速に見つけ出すことができる。異常停車中の車両の数が１台であり、異常な状態の人体が存在せず、異常停車中の車両の停止位置が道路側ではなく、及び警告標識があるという特徴を検出した場合、または、異常停車中の車両の数が複数であり、かつ車両同士に接触がなく、異常な状態の人体が存在せず、異常停車中の車両の停止位置が道路側ではなく、及び警告標識があるという特徴を検出した場合、「車両故障」というタイプを決定木から迅速に見つけ出すことができる。
更に図５を参照すると、上記の各図に示された方法の実施態様として、本開示は、交通異常を検出するための装置の一実施形態を提供し、当該装置の実施形態は、図２に示された方法の実施形態に対応しており、当該装置は、具体的に様々な電子機器に適用することができる。
図５に示すように、本実施形態の交通異常を検出するための装置５００は、取得モジュール５０１と、追跡モジュール５０２と、分類モジュール５０３とを備えてもよい。このうち、取得モジュール５０１は、交通映像ストリームを取得するように構成される。追跡モジュール５０２は、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断し、停止時間が所定時間を超えた場合、異常停車であると判定するように構成される。分類モジュール５０３は、異常停車中の車両が存在する場合、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るように構成される。決定木は、交通異常で検出された特徴に基づいて生成される。
本実施形態において、交通異常を検出するための装置５００における取得モジュール５０１と、追跡モジュール５０２と、分類モジュール５０３の具体的な処理およびそれらによって奏される技術的効果は、それぞれ図２の対応する実施形態におけるステップ２０１～２０３の関連する説明を参照することができ、ここでその説明を省略する。
本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、異常停車中の車両の数を統計するように構成される統計サブモジュールと、異常停車中の車両の数が複数である場合に、異常停車中の車両同士に接触があるか否かを判断するように構成される第１の判断サブモジュールと、異常停車中の車両同士に接触がある場合に、「車両同士の衝突」タイプであると判定するように構成される第２の判定サブモジュールと、を備える。
本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、異常停車中の車両の数が１台である場合、または異常停車中の車両の数が複数であり、かつ車両同士に接触がない場合に、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断するように構成される第３の判断サブモジュールと、異常な状態の人体が存在する場合、「車と人の衝突」タイプであると判定するように構成される第４の判定サブモジュールと、をさらに備える。
本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、異常な状態の人体が存在しない場合、異常停車中の車両の停止位置を特定するように構成される第５の特定サブモジュールと、異常停車中の車両の停止位置が道路側にある場合、「駐車禁止違反」タイプであると判定するように構成される第６の判定サブモジュールと、をさらに備える。
本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、異常停車中の車両の停止位置が道路側ではない場合、異常停車に対応する映像フレームに警告標識が存在するか否かを判断するように構成される第７の判断サブモジュールと、警告標識が存在する場合に、「車両故障」タイプであると判定するように構成される第８の判定サブモジュールと、をさらに備える。
本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、警告標識が存在しない場合に、「駐車禁止違反」タイプであると判定するように構成される第８の判定サブモジュールをさらに備える。
本実施形態のいくつかのオプション的な実施形態では、追跡モジュール５０２は、交通映像ストリームを事前トレーニング済みの車両検出追跡モデルに入力して、車両の検出、追跡結果を取得し、車両の検出、追跡結果に基づいて、異常停車中の車両が存在するか否かを判断するようにさらに構成される。
本実施形態のいくつかのオプション的な実施形態では、第１の判断サブモジュールは、異常停車中の車両の境界ボックス間のＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を計算し、ＩｏＵが０に等しいでない場合、異常停車中の車両同士に接触があると判定し、ＩｏＵが０に等しいである場合、異常停車中の車両同士に接触がないと判定するようにさらに構成される。
本実施形態のいくつかのオプション的な実施形態では、第３の判断サブモジュールは、異常停車に対応する映像フレームを事前トレーニング済みの人体行動モデルに入力し、人体行動結果を得、人体行動結果に基づいて、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断するようにさらに構成される。
本実施形態のいくつかのオプション的な実施形態では、第７の判断サブモジュールは、異常停車に対応する映像フレームを事前トレーニング済みの警告標識検出モデルに入力し、警告標識検出結果を得、警告標識検出結果に基づいて、異常停車に対応する映像フレームに警告標識が存在するか否かを判定するようにさらに構成される。
本開示の技術方案では、関連するユーザ個人情報の取得、記憶および応用などは、いずれも関連の法律法規の規定に準拠し、且つ公序良俗に反しない。
本開示の実施形態によれば、本開示はさらに電子機器、読み取り可能な記憶媒体およびコンピュータプログラムを提供する。
図６は、本開示の実施形態を実施するために使用できる例示的な電子機器６００の概略ブロック図を示している。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレード型サーバ、メインフレームコンピュータおよびその他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。また、電子機器は、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似する計算装置等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも例示であり、ここで記述および／または要求した本開示の実施形態を限定することを意図するものではない。
図６に示すように、電子機器６００は、読み出し専用メモリ（ＲＯＭ）６０２に記憶されているコンピュータプログラムまたは記憶ユニット６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたコンピュータプログラムによって様々な適当な動作および処理を実行することができる計算ユニット６０１を備える。ＲＡＭ６０３には、機器６００の動作に必要な様々なプログラムおよびデータがさらに格納されることが可能である。計算ユニット６０１、ＲＯＭ６０２およびＲＡＭ６０３は、バス６０４を介して互いに接続されている。入／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。
電子機器６００において、キーボード、マウスなどの入力ユニット６０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット６０７と、磁気ディスク、光ディスクなどの記憶ユニット６０８と、ネットワークプラグイン、モデム、無線通信送受信機などの通信ユニット６０９とを含む複数のコンポーネントは、Ｉ／Ｏインターフェース６０５に接続されている。通信ユニット６０９は、電子機器６００がインターネットなどのコンピュータネットワークおよび／または様々な電気通信ネットワークを介して他の装置と情報またはデータのやりとりを可能にする。
計算ユニット６０１は、処理及び計算能力を有する様々な汎用および／または専用処理コンポーネントであってもよい。計算ユニット６０１のいくつかの例示として、中央処理装置（ＣＰＵ）、グラフィックスプロセシングユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、および任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット６０１は、上述した交通異常を検出するための方法のような様々な方法および処理を実行する。例えば、いくつかの実施形態では、交通異常を検出するための方法は、記憶ユニット６０８などの機械可読媒体に有形に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施形態では、コンピュータプログラムの一部または全部は、ＲＯＭ６０２および／または通信ユニット６０９を介して電子機器６００にロードおよび／またはインストールされてもよい。コンピュータプログラムがＲＡＭ６０３にロードされ、計算ユニット６０１によって実行されると、上述の交通異常を検出するための方法の１つまたは複数のステップを実行可能である。あるいは、他の実施形態では、計算ユニット６０１は、他の任意の適切な形態によって（例えば、ファームウェアを介して）、交通異常を検出するための方法を実行するように構成されていてもよい。
ここで説明するシステムおよび技術の様々な実施形態はデジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／又はそれらの組み合わせにおいて実現することができる。これらの各実施形態は、１つまたは複数のコンピュータプログラムに実装され、当該１つまたは複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行および／または解釈することができ、当該プログラマブルプロセッサは専用または汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび指令を受信することができ、且つデータおよび指令を当該記憶システム、当該少なくとも１つの入力装置および当該少なくとも１つの出力装置に伝送することを含み得る。
本開示の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語のあらゆる組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラミング可能なデータ処理装置のプロセッサまたはコントローラに提供されることができ、これらのプログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／またはブロック図に規定された機能または動作が実施される。プログラムコードは、完全にデバイス上で実行されることも、部分的にデバイス上で実行されることも、スタンドアロンソフトウェアパッケージとして部分的にデバイス上で実行されながら部分的にリモートデバイス上で実行されることも、または完全にリモートデバイスもしくはサーバ上で実行されることも可能である。
本開示のコンテキストでは、機械可読媒体は、有形の媒体であってもよく、指令実行システム、装置または機器が使用するため、または指令実行システム、装置または機器と組み合わせて使用するためのプログラムを含むか、または格納してもよい。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であり得る。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線の、または半導体のシステム、装置または機器、またはこれらのあらゆる適切な組み合わせを含むことができるが、これらに限定されない。機械可読記憶媒体のより具体的な例には、１本または複数本のケーブルに基づく電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、またはこれらのあらゆる適切な組み合わせが含まれ得る。
ユーザとのインタラクションを提供するために、ここで説明するシステムと技術は、ユーザに情報を表示するための表示装置（例えば、陰極線管（ＣａｔｈｏｄｅＲａｙＴｕｂｅ，ＣＲＴ）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えるコンピュータ上で実装することができ、ユーザが該キーボードおよび該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置もユーザとのやりとりを行うことに用いることができる。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく、且つ音入力、音声入力若しくは触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。
ここで説明したシステムおよび技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバ）に実施されてもよく、またはミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）に実施されてもよく、またはフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースまたはウェブブラウザを有するユーザコンピュータ）に実施されてもよく、ユーザは該グラフィカルユーザインターフェースまたはウェブブラウザを介してここで説明したシステムおよび技術の実施形態とインタラクションしてもよく、またはこのようなバックエンドコンポーネント、ミドルウェアコンポーネントまたはフロントエンドコンポーネントのいずれかの組み合わせを含むコンピューティングシステムに実施されてもよい。また、システムの各コンポーネントの間は、通信ネットワーク等の任意の形態または媒体を介してデジタルデータ通信により接続されていてもよい。通信ネットワークとしては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットなどを含む。
コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバは、通常、互いに離れており、通信ネットワークを介してやりとりを行う。クライアントとサーバとの関係は、互いにクライアント－サーバの関係を有するコンピュータプログラムをそれぞれのコンピュータ上で動作することによって生成される。サーバはクラウドサーバであってもよく、分散システムのサーバ、あるいはブロックチェーンを結合したサーバであってもよい。
なお、上述した様々な形態のフローを用いて、ステップを並び替え、追加または削除を行うことができることを理解すべきである。例えば、本開示に記載された各ステップは、本開示に開示された技術方案の所望の結果が達成できる限り、並行して実行されてもよく、順番に実行されてもよく、異なる順番で実行されてもよい。本明細書はここで制限しない。
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件および他の要因に応じて、様々な修正、組み合わせ、副次的な組み合わせ、および置換を行うことができることを理解すべきである。本開示の趣旨および原理を逸脱せずに行われたあらゆる修正、均等な置換および改善などは、いずれも本開示の保護範囲内に含まれるべきである。
＜関連出願の相互参照＞
本開示は、２０２１年４月１５日に提出した、出願番号が２０２１１０４０４４１１．７で、発明の名称が「交通異常を検出するための方法、装置、機器、記憶媒体およびプログラム製品」である中国特許出願に基づく優先権を主張し、当該出願の全文を引用により本開示に組み込む。
本開示は、人工知能分野に関し、具体的にコンピュータビジョンと深層学習技術に関し、高度道路交通のシーンに適用できる。
交通異常の検出は、都市の安全に非常に重要な役割を果たしており、交通異常が交通の通行効率を大幅に低下させるため、その検出と監視が必要である。交通異常が発生した場合、速やかに警察への通報と救援を行うことで、交通異常による交通の不具合を速やかに検出し、正常な交通に復旧することができる。
従来の交通異常検出方法には、主に電磁誘導ループコイル式と波式があり、いずれも車両が通過する際の反射波の周波数変化を利用して車両情報を検出するものである。
本開示の実施形態は、交通異常を検出するための方法、装置、機器、記憶媒体およびプログラムを提出する。
第１の態様では、本開示の実施形態は、交通映像ストリーム（ｖｉｄｅｏ ｓｔｒｅａｍ）を取得するステップと、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断し、停止時間が所定時間を超えた場合、異常停車であると判定するステップと、異常停車中の車両が存在する場合、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るステップと、を含み、決定木は、交通異常で検出された特徴に基づいて生成される、交通異常を検出するための方法を提供する。
第２の態様では、本開示の実施形態は、交通映像ストリームを取得するように構成される取得モジュールと、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断し、停止時間が所定時間を超えた場合、異常停車であると判定するように構成される追跡モジュールと、異常停車中の車両が存在する場合、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るように構成される分類モジュールとを備え、決定木は、交通異常で検出された特徴に基づいて生成される、交通異常を検出するための装置を提供する。
第３の態様では、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、メモリには、少なくとも１つのプロセッサによって実行可能な指令が格納されており、指令が少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに第１態様のいずれかの実施形態に記載の方法を実行させる、電子機器を提供する。
第４の態様では、コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、コンピュータ指令はコンピュータに第１態様のいずれかの実施形態に記載の方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体を提供する。
第５の態様では、プロセッサによって実行されると、第１態様のいずれかの実施形態に記載の方法が実行されるコンピュータプログラムを提供する。
なお、発明の概要に記載された内容は、本開示の実施形態のかなめとなる特徴または重要な特徴を限定することを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明によって理解しやすくなる。
本開示の他の特徴、目的および利点は、以下の図面を参照してなされる非限定的な実施形態に係る詳細な説明を読むことにより、より明らかになる。図面は本開示をよりよく理解するために用いられ、本開示に対する限定を構成しない。
本開示の実施形態を適用可能な例示的なシステムアーキテクチャを示す図である。 本開示に係る交通異常を検出するための方法の一実施形態のフローチャートである。 決定木の概略図である。 本開示に係る交通異常を検出するための方法のもう一つの実施形態のフローチャートである。 本開示に係る交通異常を検出するための装置の一実施形態の構造概略図である。 本開示の実施形態に係る交通異常を検出するための方法を実現するための電子機器のブロック図である。
以下は、図面を参照して本開示の例示的な実施形態を説明し、ここで理解を助けるため、本開示の実施形態の様々な詳細を記載するが、これらは単なる例示的なものに過ぎないことを理解すべきである。従って、本開示の範囲および要旨を逸脱しない限り、当業者が本明細書の実施形態に対して様々な変更および修正を行うことができることを理解すべきである。なお、以下の説明では、明確化および簡略化のため、公知の機能および構成については説明を省略する。
なお、本開示の実施形態および実施形態における特徴は、矛盾が生じない限り、相互に組み合わせることができる。以下、図面および実施形態を参照しながら本開示を詳細に説明する。
図１は、本開示の実施形態に係る交通異常を検出するための方法または交通異常を検出するための装置の実施形態が適用可能な例示的なシステムアーキテクチャ１００を示している。
図１に示すように、システムアーキテクチャ１００は、映像採集装置１０１と、ネットワーク１０２と、サーバ１０３とを含んでもよい。ネットワーク１０２は、映像採集装置１０１とサーバ１０３との間に通信リンクを提供するための媒体として使用される。ネットワーク１０２は、有線、無線通信リンクまたは光ファイバケーブルなどのような様々なタイプの接続を含んでもよい。
画像等を送受信するために、映像採集装置１０１は、ネットワーク１０２を介してサーバ１０３と情報のやり取りをすることができる。
映像採集装置１０１は、ハードウェアであってもよいし、ソフトウェアであってもよい。映像採集装置１０１がハードウェアである場合、カメラ付きのさまざまな電子機器であってもよい。映像採集装置１０１がソフトウェアである場合、上記電子機器にインストールされてもよい。複数のソフトウェア若しくはソフトウェアモジュールとして実装されてもよく、または単一のソフトウェア若しくはソフトウェアモジュールとして実装されてもよい。ここでは特に限定しない。
サーバ１０３は、様々なサービスを提供できる。例えば、サーバ１０３は、映像採集装置１０１から取得された交通映像ストリームを解析することなど処理してもよく、処理結果（例えば、交通異常の種別）を生成することができる。
なお、サーバ１０３は、ハードウェアであってもよいし、ソフトウェアであってもよい。サーバ１０３がハードウェアである場合、複数のサーバから構成される分散サーバクラスターとしても、単一のサーバとしても実装可能である。サーバ１０３がソフトウェアである場合、複数のソフトウェア若しくはソフトウェアモジュール（例えば、分散サービスを提供するためのもの）として実装されてもよく、または単一のソフトウェア若しくはソフトウェアモジュールとして実装されてもよい。ここでは特に限定しない。
なお、本開示の実施形態に係る交通異常を検出するための方法は、通常、サーバ１０３によって実行され、これに対応して、交通異常を検出するための装置は、通常にサーバ１０３に設けられている。
図１における映像採集装置、ネットワークおよびサーバの数は例示的なものに過ぎないことを理解すべきである。実装の必要に応じて、映像採集装置、ネットワークおよびサーバの数を任意に加減してもよい。
次に、本開示に係る交通異常を検出するための方法の一実施形態のフロー２００を示す図２を参照する。当該交通異常を検出するための方法は、次のステップを含む。
ステップ２０１では、交通映像ストリームを取得する。
本実施形態では、交通異常を検出するための方法の実行主体（例えば、図１に示すサーバ１０３）は、映像採集装置（例えば、図１に示す映像採集装置１０１）から交通映像ストリームを取得することができる。
通常、映像採集装置は、そのカメラ範囲内の映像ストリームを採集するために固定されるように取り付けられている。例えば、信号柱または監視灯柱に設けられた監視カメラは、交通映像ストリームを採集することができ、高度道路交通の分野に応用できる。そのうち、映像採集装置は一定の期間（例えば４０ミリ秒）ごとに静止画像を連続的に採集することができ、交通映像ストリームを得ることができる。交通映像ストリームは、車両、歩行者などの通行過程を記録することができる。
ステップ２０２では、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断する。
本実施形態では、上記実行主体は、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断することができる。
通常、車両の通行中に、正常な車両が正常に停止する（例えば、信号待ち）場合は停止時間が短い。異常車両の異常停止（例えば、強制された停車または違法停車など）の場合、停止時間が長い。このため、停止時間が所定期間（例えば１０分間）を超えた車両を異常停車の車両として特定することができる。
上記実行主体は、交通映像ストリーム中の任意の車両について、交通映像ストリーム中の映像フレームにおける当該車両の位置を検出することができる。連続して一定数（例えば１５００フレーム）の映像フレームにおける当該車両の位置が変化しない場合、当該車両は異常停車中の車両であると判定する。映像採集装置は一定の時間（例えば４０ミリ秒）ごとに１フレームの映像フレームを採集するので、時間間隔と位置が変化しない映像フレームの数との積を計算すれば、当該車両の停止時間を得ることができる。
ステップ２０３では、異常停車中の車両が存在する場合、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得る。
本実施形態では、異常停車中の車両が存在する場合、上記実行主体は、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得ることができる。ここで、交通異常の種別としては、車両同士の衝突、車と人の衝突、駐車禁止違反、および車両故障などのタイプを含むが、これらに限定されるものではない。
ここで、決定木は、交通異常で検出された特徴に基づいて生成されてもよい。異なる交通異常の種別は異なる特徴に対応しており、ここでは異なる交通異常の種別の特徴に基づいて決定木を構築することができる。決定木は、ルートノードと内部ノードを入力特徴の判定条件とし、リーフノードを最終結果とする木である。
理解を助けるために、図３は決定木の概略図を示している。図３に示すように、トレーニングデータの入力は、異常停車中の車両の有無、異常停車中の車両の数が複数であるか否か、異常停車中の車両同士に接触があるか否か、異常な状態の人体が存在するか否か、異常停車中の車両の停止位置が道路側にあるか否か、警告標識が存在するか否かの計６つの特徴がある。これらのトレーニングデータから決定木を構築することができる。具体的に、次の通りである。
まず、ルートノードを選択する。
様々なタイプの交通異常に車両の異常停車が存在する。したがって、異常停車中の車両の有無をルートノード３０１としてもよい。
次に、内部ノードとリーフノードを選択する。
また、「車両同士の衝突」というタイプの特徴はさらに、異常停車中の車両の数が複数であること、異常停車中の車両同士が接触したことも含まれる。したがって、異常停車中の車両の数が複数であるか否かをルートノード３０１の子ノード３０２とし、異常停車中の車両同士に接触があったか否かをノード３０２の子ノード３０３とし、「車両同士の衝突」というタイプをノード３０３のリーフノード３０４としてもよい。
「車と人の衝突」タイプの特徴の場合は、異常停車中の車両の数が複数であるか単一であるかを制限しない。異常停車中の車両の数が１台であるという特徴を含む場合は、異常な状態の人体が存在することもさらに含む。異常停車中の車両の数が複数であるという特徴を含む場合は、異常停車中の車両同士に接触がなく、異常な状態の人体が存在することもさらに含む。したがって、異常な状態の人体が存在するか否かをノード３０２とノード３０３の子ノード３０５とし、「車と人の衝突」というタイプをノード３０５のリーフノード３０６としてもよい。
同様に、「駐車禁止違反」タイプの特徴も、異常停車中の車両の数が複数であるか単一であるかを制限しない。異常停車中の車両の数が１台であるという特徴を含む場合は、異常な状態の人体が存在しないことと、異常停車中の車両の停止位置が道路側にあることとをさらに含む。異常停車中の車両の数が複数であるという特徴を含む場合は、異常停車中の車両同士に接触がないことと、異常な状態の人体が存在しないことと、異常停車中の車両の停止位置が道路側にあることとをさらに含む。このため、異常停車中の車両の停止位置が道路側にあるか否かをノード３０５の子ノード３０７とし、「駐車禁止違反」タイプをノード３０７のリーフノード３０８としてもよい。
同様に、「車両故障」タイプの特徴も、異常停車中の車両の数が複数であるか単一であるかを制限しない。異常停車中の車両の数が１台であるという特徴を含む場合は、異常な状態の人体が存在しないことと、異常停車中の車両の停止位置が道路側にないことと、警告標識が存在することとをさらに含む。異常停車中の車両の数が複数であるという特徴を含む場合は、異常停車中の車両同士に接触がないことと、異常な状態の人体が存在しないことと、異常停車中の車両の停止位置が道路側にないことと、警告標識が存在することとをさらに含む。したがって、警告標識の有無をノード３０７の子ノード３０９とし、「車両故障」タイプをノード３０９のリーフノード３１０としてもよい。また、特徴に警告標識が存在しないことがさらに含まれる場合は「駐車禁止違反」タイプに対応する。したがって、リーフノード３０８をノード３０９のリーフノードとしてもよい。
本開示の実施形態は、映像ストリームに基づく交通異常検出方法を提供し、まず交通映像ストリームに対して検出、追跡を行い、異常停車中の車両を特定し、その後決定木を用いて交通異常の分類を行い、高度道路交通システムに組み込むことで、問題を早急に突き止め、正常な交通を回復することができる。また、検出および追跡によって異常停車中の車両を特定することで、撮影角度の変化、高密度の車両の流れ、目標車両ギア、天気の状況（例えば、雨、雪）、光の照射の変化（例えば、昼と夜）、採集データの解像度の低下と真実のシーンデータの不足などの要因の影響を受けず、交通異常の検出のロバストネスを高めた。決定木による交通異常の分類は、決定木が交通異常で検出された特徴に基づいて生成されたものであるため、より全面的な交通情報を提供することができ、交通異常の検出結果をより全面的にすることができる。
さらに、本開示に係る交通異常を検出するための方法のもう一つの実施形態のフロー４００を示す図４を参照する。当該交通異常を検出するための方法は、次のステップを含む。
ステップ４０１では、交通映像ストリームを取得する。
ステップ４０２では、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断する。
本実施形態では、ステップ４０１～４０２の具体的な動作は、図２に示す実施形態のステップ２０１～２０２の動作に詳しく説明したので、ここではその説明を省略する。
本実施形態のいくつかのオプション的な実施形態では、上記実行主体は、交通映像ストリームを事前トレーニング済みの車両検出追跡モデルに入力して車両検出追跡結果を取得し、車両検出追跡結果に基づいて異常停車中の車両が存在するか否かを判定することができる。ここで、車両検出追跡結果は車両の走行軌跡を含んでもよい。車両の走行軌跡は、車両位置が時間とともに変化することを表すことができる。車両の走行軌跡中の車両位置が所定時間を超えても変化しない場合は、異常停車中の車両であることを意味する。車両検出追跡モデルは、車両を検出、追跡するために用いることができ、トレーニングサンプルセットを用いてニューラルネットワークをトレーニングして得られる。ここでのトレーニングサンプルセットのトレーニングサンプルは、サンプル交通映像ストリームおよびサンプル車両走行軌跡を含んでもよい。深層学習方法に基づいて車両の検出、追跡を行うことで、車両検出追跡の効率と精度を向上させた。
ステップ４０３では、異常停車中の車両の数を統計し、複数であるか否かを判断する。
本実施形態では、異常停車中の車両が存在する場合、上記実行主体は、異常停車中の車両の数を統計し、複数であるか否かを判断することができる。異常停車中の車両の数が複数である場合はステップ４０４を実行し、異常停車中の車両の数が１台である場合はステップ４０６を実行する。
なお、異常停車中の車両の数を統計する場合、同一映像フレームに存在する異常停車中の車両の数を統計する。車両検出追跡時、交通映像ストリーム中の映像フレームをフレーム毎に検出追跡するので、車両の検出、追跡結果を得る際に、異常停車中の車両の数を同時に得ることができる。
ステップ４０４では、異常停車中の車両同士に接触の有無を判断する。
本実施形態では、異常停車中の車両の数が複数である場合に、上記実行主体は、異常停車中の車両同士が接触しているか否かを判断することができる。異常停車中の車両間に接触がある場合、ステップ４０５を実行し、異常停車中の車両間に接触がない場合、ステップ４０６を実行する。
本実施形態のいくつかのオプション的な実施形態では、上記実行主体は、異常停車中の車両の境界ボックス間のＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を計算してもよい。ＩｏＵが０に等しいでない場合には、異常停車中の車両間に接触があると判定し、ＩｏＵが０に等しいである場合には、異常停車中の車両間に接触がないと判定することにより、異常停車中の車両間の接触の有無を迅速に判定することができるようになる。
一般的に、交通映像ストリームに対して車両の検出、追跡を行う場合、車両の位置を特定するために車両の境界ボックスを検出するようにする。異常停車中の車両の数が複数である場合は、対応する映像フレームに異常停車中の車両の境界ボックスが複数存在することになる。少なくとも２つの異常停車中の車両の境界ボックスに交差が存在し、ＩｏＵが０に等しいでない場合、異常停車中の車両同士に接触があることを意味する。もし、すべての異常停車中の車両の境界ボックスのいずれも交差が存在しておらず、ＩｏＵが０に等しいである場合、異常停車中の車両同士に接触がないことを意味する。
ステップ４０５では、「車両同士の衝突」タイプであると判定する。
本実施形態では、異常停車中の車両の数が複数であり、かつ、異常停車中の車両同士が接触している場合には、「車両同士の衝突」タイプであると判定することができる。
ステップ４０６では、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断する。
本実施形態では、異常停車中の車両の数が１台である場合、または、異常停車中の車両の数が複数であって車両同士に接触がない場合に、上記実行主体はさらに、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断することができる。異常な状態の人体が存在する場合はステップ４０７を実行し、異常な状態の人体が存在しない場合はステップ４０８を実行する。ここで、異常な状態の人体とは、行動が異常な人体であってもよい。例えば、正常な通行の時に、道路上の歩行者は、直立の姿で歩行するかライド姿で走行する。交通事故が発生した場合、道路上の歩行者は、通常、地面に座ったり、地面に横たわったりする。異常な状態の人体は、地面に座ったり、地面に横たわったりする人体であってもよい。
本実施形態のいくつかのオプション的な実施形態では、上記実行主体は、異常停車に対応する映像フレームを事前トレーニング済みの人体行動モデルに入力して人体行動結果を取得し、人体行動結果に基づいて、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判定することができる。そのうち、人体行動結果は人体行動を記録するために用いられ、人体行動が地面に座り、または地面に横たわる場合、対応する人体は異常な状態の人体になる。人体行動モデルは人体行動の検出に用いることができ、トレーニングサンプルセットを用いてニューラルネットワークをトレーニングして得られたものである。ここでのトレーニングサンプルセット内のトレーニングサンプルは、サンプル映像フレームおよびサンプル人体行動ラベルを含んでもよい。深層学習方法に基づいて人体行動を検出することで、人体行動の検出効率と精度を向上した。
ステップ４０７では、「車と人の衝突」タイプであると判定する。
本実施形態では、異常な状態の人体が存在する場合、「車と人の衝突」タイプであると判定できる。
ステップ４０８では、異常停車中の車両の停止位置が道路側にあるか否かを判断する。
本実施形態では、異常な状態の人体が存在しない場合に、上記実行主体は、異常停車中の車両の停止位置が道路側にあるか否かを判断することができる。異常停車中の車両の停止位置が道路側にある場合はステップ４１１を実行し、異常停車中の車両の停止位置が道路側にない場合はステップ４０９を実行する。
通常、道路側領域を予め入力しておき、車両位置が道路側領域内にあるか否かを特定することができる。車両位置が道路側領域内にある場合、異常停車中の車両の停止位置が道路側にあることを意味し、車両位置が道路側領域外にある場合、異常停車中の車両の停止位置が道路側にないことを意味する。
ステップ４０９では、異常停車に対応する映像フレームに警告標識が存在するか否かを判断する。
本実施形態では、異常停車中の車両の停止位置が道路側にない場合に、上記実行主体は、異常停車に対応する映像フレームに警告標識が存在するか否かを判断することができる。警告標識が存在する場合はステップ４１０を実行し、警告標識が存在しない場合はステップ４１１を実行する。ここでの警告標識は通常、三角の標識である。
本実施形態のいくつかのオプション的な実施形態では、上記実行主体は、異常停車に対応する映像フレームを事前トレーニング済みの警告標識検出モデルに入力して警告標識検出結果を取得し、警告標識検出結果に基づいて、異常停車に対応する映像フレームに警告標識が存在するか否かを判断することができる。このうち、警告標識検出モデルは、警告標識の検出に用いることができ、トレーニングサンプルセットを用いてニューラルネットワークをトレーニングして得られる。ここでのトレーニングサンプルセットのトレーニングサンプルは、サンプル映像フレームおよびサンプル警告標識ラベルを含んでもよい。深層学習方法に基づいて警告標識を検出することにより、警告標識の検出効率と精度を向上した。
ステップ４１０では、「車両故障」タイプであると判定する。
本実施形態では、警告標識が存在する場合、「車両故障」タイプであると判定することができる。
ステップ４１１では、「駐車禁止違反」タイプであると判定する。
本実施形態では、異常停車中の車両の停止位置が道路側にある場合、または、異常停車中の車両の停止位置が道路側ではなく、かつ、警告標識が存在しない場合は、「駐車禁止違反」タイプであると判定することができる。
図４から分かるように、図２の対応する実施形態と比較すると、本実施形態における交通異常を検出するための方法は、交通異常を分類するステップが強調されている。このように、本実施形態では、交通映像ストリームから交通異常検出の特徴をマイニング、交通異常検出の特徴に基づいて決定木を探索することにより、交通異常の種別を迅速にマッチングして見つけ出すことができる。例えば、異常停車中の車両の数が複数であり、車両同士に接触があるという特徴を検出した場合には、「車両同士の衝突」というタイプを決定木から迅速に見つけ出すことができる。異常停車中の車両の数が１台であり、異常な状態の人体が存在するという特徴を検出した場合、または、異常停車中の車両の数が複数であり、車両同士に接触がないという特徴を検出した場合、および異常な状態の人体が存在する特徴を検出した場合には、「車と人の衝突」というタイプを決定木から迅速に見つけ出すことができる。異常停車中の車両の数が１台であり、異常な状態の人体が存在せず、及び異常停車中の車両の停止位置が道路側にあるという特徴を検出した場合、または、異常停車中の車両の数が複数であり、車両同士に接触がなく、異常な状態の人体が存在せず、及び異常停車中の車両の停止位置が道路側にあるという特徴を検出した場合、または、異常停車中の車両の数が１台であり、異常な状態の人体が存在せず、異常停車中の車両の停止位置が道路側ではなく、警告標識がないという特徴を検出した場合、または、異常停車中の車両の数が複数であり、かつ車両同士に接触がなく、異常な状態の人体が存在せず、異常停車中の車両の停止位置が道路側ではなく、及び警告標識がないという特徴を検出した場合、「駐車禁止違反」というタイプを決定木から迅速に見つけ出すことができる。異常停車中の車両の数が１台であり、異常な状態の人体が存在せず、異常停車中の車両の停止位置が道路側ではなく、及び警告標識があるという特徴を検出した場合、または、異常停車中の車両の数が複数であり、かつ車両同士に接触がなく、異常な状態の人体が存在せず、異常停車中の車両の停止位置が道路側ではなく、及び警告標識があるという特徴を検出した場合、「車両故障」というタイプを決定木から迅速に見つけ出すことができる。
更に図５を参照すると、上記の各図に示された方法の実施態様として、本開示は、交通異常を検出するための装置の一実施形態を提供し、当該装置の実施形態は、図２に示された方法の実施形態に対応しており、当該装置は、具体的に様々な電子機器に適用することができる。
図５に示すように、本実施形態の交通異常を検出するための装置５００は、取得モジュール５０１と、追跡モジュール５０２と、分類モジュール５０３とを備えてもよい。このうち、取得モジュール５０１は、交通映像ストリームを取得するように構成される。追跡モジュール５０２は、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断し、停止時間が所定時間を超えた場合、異常停車であると判定するように構成される。分類モジュール５０３は、異常停車中の車両が存在する場合、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るように構成される。決定木は、交通異常で検出された特徴に基づいて生成される。
本実施形態において、交通異常を検出するための装置５００における取得モジュール５０１と、追跡モジュール５０２と、分類モジュール５０３の具体的な処理およびそれらによって奏される技術的効果は、それぞれ図２の対応する実施形態におけるステップ２０１～２０３の関連する説明を参照することができ、ここでその説明を省略する。
本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、異常停車中の車両の数を統計するように構成される統計サブモジュールと、異常停車中の車両の数が複数である場合に、異常停車中の車両同士に接触があるか否かを判断するように構成される第１の判断サブモジュールと、異常停車中の車両同士に接触がある場合に、「車両同士の衝突」タイプであると判定するように構成される第２の判定サブモジュールと、を備える。
本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、異常停車中の車両の数が１台である場合、または異常停車中の車両の数が複数であり、かつ車両同士に接触がない場合に、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断するように構成される第３の判断サブモジュールと、異常な状態の人体が存在する場合、「車と人の衝突」タイプであると判定するように構成される第４の判定サブモジュールと、をさらに備える。
本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、異常な状態の人体が存在しない場合、異常停車中の車両の停止位置を特定するように構成される第５の特定サブモジュールと、異常停車中の車両の停止位置が道路側にある場合、「駐車禁止違反」タイプであると判定するように構成される第６の判定サブモジュールと、をさらに備える。
本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、異常停車中の車両の停止位置が道路側ではない場合、異常停車に対応する映像フレームに警告標識が存在するか否かを判断するように構成される第７の判断サブモジュールと、警告標識が存在する場合に、「車両故障」タイプであると判定するように構成される第８の判定サブモジュールと、をさらに備える。
本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、警告標識が存在しない場合に、「駐車禁止違反」タイプであると判定するように構成される第８の判定サブモジュールをさらに備える。
本実施形態のいくつかのオプション的な実施形態では、追跡モジュール５０２は、交通映像ストリームを事前トレーニング済みの車両検出追跡モデルに入力して、車両の検出、追跡結果を取得し、車両の検出、追跡結果に基づいて、異常停車中の車両が存在するか否かを判断するようにさらに構成される。
本実施形態のいくつかのオプション的な実施形態では、第１の判断サブモジュールは、異常停車中の車両の境界ボックス間のＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を計算し、ＩｏＵが０に等しいでない場合、異常停車中の車両同士に接触があると判定し、ＩｏＵが０に等しいである場合、異常停車中の車両同士に接触がないと判定するようにさらに構成される。
本実施形態のいくつかのオプション的な実施形態では、第３の判断サブモジュールは、異常停車に対応する映像フレームを事前トレーニング済みの人体行動モデルに入力し、人体行動結果を得、人体行動結果に基づいて、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断するようにさらに構成される。
本実施形態のいくつかのオプション的な実施形態では、第７の判断サブモジュールは、異常停車に対応する映像フレームを事前トレーニング済みの警告標識検出モデルに入力し、警告標識検出結果を得、警告標識検出結果に基づいて、異常停車に対応する映像フレームに警告標識が存在するか否かを判定するようにさらに構成される。
本開示の技術方案では、関連するユーザ個人情報の取得、記憶および応用などは、いずれも関連の法律法規の規定に準拠し、且つ公序良俗に反しない。
本開示の実施形態によれば、本開示はさらに電子機器、読み取り可能な記憶媒体およびコンピュータプログラムを提供する。
図６は、本開示の実施形態を実施するために使用できる例示的な電子機器６００の概略ブロック図を示している。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレード型サーバ、メインフレームコンピュータおよびその他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。また、電子機器は、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似する計算装置等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも例示であり、ここで記述および／または要求した本開示の実施形態を限定することを意図するものではない。
図６に示すように、電子機器６００は、読み出し専用メモリ（ＲＯＭ）６０２に記憶されているコンピュータプログラムまたは記憶ユニット６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたコンピュータプログラムによって様々な適当な動作および処理を実行することができる計算ユニット６０１を備える。ＲＡＭ６０３には、機器６００の動作に必要な様々なプログラムおよびデータがさらに格納されることが可能である。計算ユニット６０１、ＲＯＭ６０２およびＲＡＭ６０３は、バス６０４を介して互いに接続されている。入／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。
電子機器６００において、キーボード、マウスなどの入力ユニット６０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット６０７と、磁気ディスク、光ディスクなどの記憶ユニット６０８と、ネットワークプラグイン、モデム、無線通信送受信機などの通信ユニット６０９とを含む複数のコンポーネントは、Ｉ／Ｏインターフェース６０５に接続されている。通信ユニット６０９は、電子機器６００がインターネットなどのコンピュータネットワークおよび／または様々な電気通信ネットワークを介して他の装置と情報またはデータのやりとりを可能にする。
計算ユニット６０１は、処理及び計算能力を有する様々な汎用および／または専用処理コンポーネントであってもよい。計算ユニット６０１のいくつかの例示として、中央処理装置（ＣＰＵ）、グラフィックスプロセシングユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、および任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット６０１は、上述した交通異常を検出するための方法のような様々な方法および処理を実行する。例えば、いくつかの実施形態では、交通異常を検出するための方法は、記憶ユニット６０８などの機械可読媒体に有形に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施形態では、コンピュータプログラムの一部または全部は、ＲＯＭ６０２および／または通信ユニット６０９を介して電子機器６００にロードおよび／またはインストールされてもよい。コンピュータプログラムがＲＡＭ６０３にロードされ、計算ユニット６０１によって実行されると、上述の交通異常を検出するための方法の１つまたは複数のステップを実行可能である。あるいは、他の実施形態では、計算ユニット６０１は、他の任意の適切な形態によって（例えば、ファームウェアを介して）、交通異常を検出するための方法を実行するように構成されていてもよい。
ここで説明するシステムおよび技術の様々な実施形態はデジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／又はそれらの組み合わせにおいて実現することができる。これらの各実施形態は、１つまたは複数のコンピュータプログラムに実装され、当該１つまたは複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行および／または解釈することができ、当該プログラマブルプロセッサは専用または汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび指令を受信することができ、且つデータおよび指令を当該記憶システム、当該少なくとも１つの入力装置および当該少なくとも１つの出力装置に伝送することを含み得る。
本開示の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語のあらゆる組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラミング可能なデータ処理装置のプロセッサまたはコントローラに提供されることができ、これらのプログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／またはブロック図に規定された機能または動作が実施される。プログラムコードは、完全にデバイス上で実行されることも、部分的にデバイス上で実行されることも、スタンドアロンソフトウェアパッケージとして部分的にデバイス上で実行されながら部分的にリモートデバイス上で実行されることも、または完全にリモートデバイスもしくはサーバ上で実行されることも可能である。
本開示のコンテキストでは、機械可読媒体は、有形の媒体であってもよく、指令実行システム、装置または機器が使用するため、または指令実行システム、装置または機器と組み合わせて使用するためのプログラムを含むか、または格納してもよい。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であり得る。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線の、または半導体のシステム、装置または機器、またはこれらのあらゆる適切な組み合わせを含むことができるが、これらに限定されない。機械可読記憶媒体のより具体的な例には、１本または複数本のケーブルに基づく電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、またはこれらのあらゆる適切な組み合わせが含まれ得る。
ユーザとのインタラクションを提供するために、ここで説明するシステムと技術は、ユーザに情報を表示するための表示装置（例えば、陰極線管（ＣａｔｈｏｄｅＲａｙＴｕｂｅ，ＣＲＴ）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えるコンピュータ上で実装することができ、ユーザが該キーボードおよび該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置もユーザとのやりとりを行うことに用いることができる。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく、且つ音入力、音声入力若しくは触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。
ここで説明したシステムおよび技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバ）に実施されてもよく、またはミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）に実施されてもよく、またはフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースまたはウェブブラウザを有するユーザコンピュータ）に実施されてもよく、ユーザは該グラフィカルユーザインターフェースまたはウェブブラウザを介してここで説明したシステムおよび技術の実施形態とインタラクションしてもよく、またはこのようなバックエンドコンポーネント、ミドルウェアコンポーネントまたはフロントエンドコンポーネントのいずれかの組み合わせを含むコンピューティングシステムに実施されてもよい。また、システムの各コンポーネントの間は、通信ネットワーク等の任意の形態または媒体を介してデジタルデータ通信により接続されていてもよい。通信ネットワークとしては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットなどを含む。
コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバは、通常、互いに離れており、通信ネットワークを介してやりとりを行う。クライアントとサーバとの関係は、互いにクライアント－サーバの関係を有するコンピュータプログラムをそれぞれのコンピュータ上で動作することによって生成される。サーバはクラウドサーバであってもよく、分散システムのサーバ、あるいはブロックチェーンを結合したサーバであってもよい。
なお、上述した様々な形態のフローを用いて、ステップを並び替え、追加または削除を行うことができることを理解すべきである。例えば、本開示に記載された各ステップは、本開示に開示された技術方案の所望の結果が達成できる限り、並行して実行されてもよく、順番に実行されてもよく、異なる順番で実行されてもよい。本明細書はここで制限しない。
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件および他の要因に応じて、様々な修正、組み合わせ、副次的な組み合わせ、および置換を行うことができることを理解すべきである。本開示の趣旨および原理を逸脱せずに行われたあらゆる修正、均等な置換および改善などは、いずれも本開示の保護範囲内に含まれるべきである。

Claims (23)

  1. 交通映像ストリームを取得するステップと、
    前記交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断し、停止時間が所定時間を超えた場合、異常停車であると判定するステップと、
    異常停車中の車両が存在する場合、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るステップと、を含み、
    前記決定木は交通異常で検出された特徴に基づいて生成される、
    交通異常を検出するための方法。
  2. 異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るステップは、
    前記異常停車中の車両の数を統計するステップと、
    前記異常停車中の車両の数が複数である場合、前記異常停車中の車両同士に接触があるか否かを判断するステップと、
    前記異常停車中の車両同士に接触がある場合、「車両同士の衝突」タイプであると判定するステップと、を含む請求項１に記載の方法。
  3. 異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るステップは、
    前記異常停車中の車両の数が１台である場合、または前記異常停車中の車両の数が複数であって、車両同士に接触がない場合、前記異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断するステップと、
    異常な状態の人体が存在する場合、「車と人の衝突」タイプであると判定するステップと、
    をさらに含む請求項２に記載の方法。
  4. 異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るステップは、
    異常な状態の人体が存在しない場合、前記異常停車中の車両の停止位置を特定するステップと、
    前記異常停車中の車両の停止位置が道路側にある場合、「駐車禁止違反」タイプであると判定するステップと、
    をさらに含む請求項３に記載の方法。
  5. 異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るステップは、
    前記異常停車中の車両の停止位置が道路側ではない場合、前記異常停車に対応する映像フレームに警告標識が存在するか否かを判断するステップと、
    警告標識が存在する場合に、「車両故障」タイプであると判定するステップと、
    をさらに含む請求項４に記載の方法。
  6. 異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るステップは、
    警告標識が存在しない場合に、「駐車禁止違反」タイプであると判定するステップをさらに含む、
    請求項１～５のいずれか１項に記載の方法。
  7. 前記交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断するステップは、
    前記交通映像ストリームを事前トレーニング済みの車両検出追跡モデルに入力して、車両の検出、追跡結果を取得するステップと、
    車両の検出、追跡結果に基づいて、異常停車中の車両が存在するか否かを判断するステップと、
    を含む請求項１～６のいずれか１項に記載の方法。
  8. 前記異常停車中の車両同士に接触があるか否かを判断するステップは、
    前記異常停車中の車両の境界ボックス間のＩｏＵを計算するステップと、
    前記ＩｏＵが０に等しいでない場合、前記異常停車中の車両同士に接触があると判定するステップと、
    前記ＩｏＵが０に等しいである場合、前記異常停車中の車両同士に接触がないと判定するステップと、
    を含む請求項２～７のいずれか１項に記載の方法。
  9. 前記異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断するステップは、
    前記異常停車に対応する映像フレームを事前トレーニング済みの人体行動モデルに入力し、人体行動結果を得るステップと、
    前記人体行動結果に基づいて、前記異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断するステップと、
    を含む請求項３～８のいずれか１項に記載の方法。
  10. 前記異常停車に対応する映像フレームに警告標識が存在するか否かを判断するステップは、
    前記異常停車に対応する映像フレームを事前トレーニング済みの警告標識検出モデルに入力し、警告標識検出結果を得るステップと、
    前記警告標識検出結果に基づいて、前記異常停車に対応する映像フレームに警告標識が存在するか否かを判定するステップと、
    を含む請求項５～９のいずれか１項に記載の方法。
  11. 交通映像ストリームを取得するように構成される取得モジュールと、
    前記交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断し、停止時間が所定時間を超えた場合、異常停車であると判定するように構成される追跡モジュールと、
    異常停車中の車両が存在する場合、決定木を用いて異常停車に対応する映像フレームに対して交通異常の分類を行い、交通異常の種別を得るように構成される分類モジュールとを備え、
    前記決定木は交通異常で検出された特徴に基づいて生成される、
    交通異常を検出するための装置。
  12. 前記分類モジュールは、
    前記異常停車中の車両の数を統計するように構成される統計サブモジュールと、
    前記異常停車中の車両の数が複数である場合に、前記異常停車中の車両同士に接触があるか否かを判断するように構成される第１の判断サブモジュールと、
    前記異常停車中の車両同士に接触がある場合に、「車両同士の衝突」タイプであると判定するように構成される第２の判定サブモジュールと、
    を備える請求項１１に記載の装置。
  13. 前記分類モジュールは、
    前記異常停車中の車両の数が１台である場合、または前記異常停車中の車両の数が複数であって、車両同士に接触がない場合に、前記異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断するように構成される第３の判断サブモジュールと、
    異常な状態の人体が存在する場合、「車と人の衝突」タイプであると判定するように構成される第４の判定サブモジュールと、
    をさらに備える請求項１２に記載の装置。
  14. 前記分類モジュールは、
    異常な状態の人体が存在しない場合、前記異常停車中の車両の停止位置を特定するように構成される第５の特定サブモジュールと、
    前記異常停車中の車両の停止位置が道路側にある場合、「駐車禁止違反」タイプであると判定するように構成される第６の判定サブモジュールと、
    をさらに備える請求項１３に記載の装置。
  15. 前記分類モジュールは、
    前記異常停車中の車両の停止位置が道路側にない場合、前記異常停車に対応する映像フレームに警告標識が存在するか否かを判断するように構成される第７の判断サブモジュールと、
    警告標識が存在する場合に、「車両故障」タイプであると判定するように構成される第８の判定サブモジュールと、
    をさらに備える請求項１４に記載の装置。
  16. 前記分類モジュールは、
    警告標識が存在しない場合に、「駐車禁止違反」タイプであると判定するように構成される第８の判定サブモジュールをさらに備える請求項１１～１５のいずれか１項に記載の装置。
  17. 前記追跡モジュールは、
    前記交通映像ストリームを事前トレーニング済みの車両検出追跡モデルに入力して、車両の検出、追跡結果を取得し、
    車両の検出、追跡結果に基づいて、異常停車中の車両が存在するか否かを判断するようにさらに構成される請求項１１～１６のいずれか１項に記載の装置。
  18. 前記第１の判断サブモジュールは、
    前記異常停車中の車両の境界ボックス間のＩｏＵを計算し、
    前記ＩｏＵが０に等しいでない場合、前記異常停車中の車両同士に接触があると判定し、
    前記ＩｏＵが０等しいである場合、前記異常停車中の車両同士に接触がないと判定するようにさらに構成される請求項１２～１７のいずれか１項に記載の装置。
  19. 前記第３の判断サブモジュールは、
    前記異常停車に対応する映像フレームを事前トレーニング済みの人体行動モデルに入力し、人体行動結果を得、
    前記人体行動結果に基づいて、前記異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断するようにさらに構成される、
    請求項１３～１８のいずれか１項に記載の装置。
  20. 前記第７の判断サブモジュールは、
    前記異常停車に対応する映像フレームを事前トレーニング済みの警告標識検出モデルに入力し、警告標識検出結果を得、
    前記警告標識検出結果に基づいて、前記異常停車に対応する映像フレームに警告標識が存在するか否かを判定するようにさらに構成される請求項１５～１９のいずれか１項に記載の装置。
  21. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信可能に接続されるメモリとを備える電子機器であって、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な指令が記憶され、前記指令が前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに請求項１～１０のいずれか１項に記載の方法を実行させる、電子機器。
  22. コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、
    前記コンピュータ指令は前記コンピュータに請求項１～１０のいずれか１項に記載の方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体。
  23. プロセッサによって実行されると、請求項１～１０のいずれか１項に記載の方法が実現されるコンピュータプログラムを含むコンピュータプログラム製品。
JP2022555976A 2021-04-15 2022-01-29 交通異常を検出するための方法、装置、機器、記憶媒体およびプログラム Pending JP2023524623A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110404411.7 2021-04-15
CN202110404411.7A CN113033471A (zh) 2021-04-15 2021-04-15 交通异常检测方法、装置、设备、存储介质以及程序产品
PCT/CN2022/075044 WO2022218011A1 (zh) 2021-04-15 2022-01-29 交通异常检测方法、装置、设备、存储介质以及程序产品

Publications (1)

Publication Number Publication Date
JP2023524623A true JP2023524623A (ja) 2023-06-13

Family

ID=76456748

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022555976A Pending JP2023524623A (ja) 2021-04-15 2022-01-29 交通異常を検出するための方法、装置、機器、記憶媒体およびプログラム

Country Status (6)

Country Link
US (1) US20230005272A1 (ja)
EP (1) EP4102401A4 (ja)
JP (1) JP2023524623A (ja)
KR (1) KR20220146670A (ja)
CN (1) CN113033471A (ja)
WO (1) WO2022218011A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419722B (zh) * 2020-11-18 2022-08-30 百度(中国)有限公司 交通异常事件检测方法、交通管控方法、设备和介质
CN113033471A (zh) * 2021-04-15 2021-06-25 北京百度网讯科技有限公司 交通异常检测方法、装置、设备、存储介质以及程序产品
CN113469115B (zh) * 2021-07-20 2024-07-02 阿波罗智联(北京)科技有限公司 用于输出信息的方法和装置
CN113989705A (zh) * 2021-10-25 2022-01-28 阿波罗智联(北京)科技有限公司 用于输出信息的方法、装置、设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09270014A (ja) * 1996-04-03 1997-10-14 Matsushita Electric Ind Co Ltd 移動物体の抽出装置
JP2002190011A (ja) * 2000-12-21 2002-07-05 Nec Corp 画像認識による停止車両検知システム及び停止車両検知方法
JP2017516197A (ja) * 2015-03-31 2017-06-15 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 交通標識を認識する方法及び装置
JP2018106618A (ja) * 2016-12-28 2018-07-05 日本放送協会 画像データ分類装置、オブジェクト検出装置及びこれらのプログラム
WO2019189218A1 (ja) * 2018-03-29 2019-10-03 日本電気株式会社 交通監視装置、交通監視システム、交通監視方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP6811830B1 (ja) * 2019-11-25 2021-01-13 川崎汽船株式会社 情報処理システム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI430212B (zh) * 2010-06-08 2014-03-11 Gorilla Technology Inc 利用多特徵自動集群法之異常行為偵測系統與方法
CN102289933B (zh) * 2011-08-08 2013-05-22 上海电科智能系统股份有限公司 一种城市快速路交通事件影响空间范围等级预测方法
US8744132B2 (en) * 2012-04-06 2014-06-03 Orhan BULAN Video-based method for detecting parking boundary violations
CN105023433B (zh) * 2015-07-01 2018-04-20 重庆大学 一种高速公路交通异常事件影响范围预估方法
CN105761500B (zh) * 2016-05-10 2019-02-22 腾讯科技（深圳）有限公司 交通事故处理方法及交通事故处理装置
CN108460970A (zh) * 2017-09-11 2018-08-28 江苏本能科技有限公司 道路车辆交通行为识别方法及系统
CN107610469B (zh) * 2017-10-13 2021-02-02 北京工业大学 一种考虑多因素影响的日维度区域交通指数预测方法
WO2019189152A1 (ja) * 2018-03-29 2019-10-03 日本電気株式会社 交通監視装置、交通監視システム、交通監視方法及びプログラムが格納された非一時的なコンピュータ可読媒体
US20210027619A1 (en) * 2018-03-29 2021-01-28 Nec Corporation Traffic monitoring apparatus, traffic monitoring system, traffic monitoring method, and non-transitory computer readable medium storing program
CN109035763A (zh) * 2018-07-02 2018-12-18 东南大学 基于c４．５的高速公路事故主次因分析及事故类型判断方法
CN110866427A (zh) * 2018-08-28 2020-03-06 杭州海康威视数字技术股份有限公司 一种车辆行为检测方法及装置
US11106925B2 (en) * 2018-10-25 2021-08-31 Intel Corporation Computer-assisted or autonomous driving traffic sign recognition method and apparatus
CN111402612A (zh) * 2019-01-03 2020-07-10 北京嘀嘀无限科技发展有限公司 一种交通事件通知方法及装置
JP7460044B2 (ja) * 2019-03-29 2024-04-02 インテル・コーポレーション 自律車両、ならびに自律車両システムに係る装置、プログラム、およびコンピュータ可読媒体
CN110298307B (zh) * 2019-06-27 2021-07-20 浙江工业大学 一种基于深度学习的异常停车实时检测方法
US10867380B1 (en) * 2019-07-01 2020-12-15 Sas Institute Inc. Object and data point tracking to control system in operation
CN110705461B (zh) * 2019-09-29 2022-11-01 北京百度网讯科技有限公司 一种图像处理方法及装置
CN112270243A (zh) * 2020-04-15 2021-01-26 陈建 基于智慧交通的截取图像合成方法、系统及云服务器
CN111626275B (zh) * 2020-07-30 2020-11-10 江苏金智慧安科技有限公司 一种基于智能视频分析的异常停车检测方法
CN112172835B (zh) * 2020-09-17 2022-01-04 中国第一汽车股份有限公司 一种车辆预警方法、装置、设备及存储介质
CN112200044B (zh) * 2020-09-30 2024-04-30 北京四维图新科技股份有限公司 异常行为检测方法、装置及电子设备
CN113033471A (zh) * 2021-04-15 2021-06-25 北京百度网讯科技有限公司 交通异常检测方法、装置、设备、存储介质以及程序产品

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09270014A (ja) * 1996-04-03 1997-10-14 Matsushita Electric Ind Co Ltd 移動物体の抽出装置
JP2002190011A (ja) * 2000-12-21 2002-07-05 Nec Corp 画像認識による停止車両検知システム及び停止車両検知方法
JP2017516197A (ja) * 2015-03-31 2017-06-15 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 交通標識を認識する方法及び装置
JP2018106618A (ja) * 2016-12-28 2018-07-05 日本放送協会 画像データ分類装置、オブジェクト検出装置及びこれらのプログラム
WO2019189218A1 (ja) * 2018-03-29 2019-10-03 日本電気株式会社 交通監視装置、交通監視システム、交通監視方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP6811830B1 (ja) * 2019-11-25 2021-01-13 川崎汽船株式会社 情報処理システム

Also Published As

Publication number Publication date
US20230005272A1 (en) 2023-01-05
KR20220146670A (ko) 2022-11-01
CN113033471A (zh) 2021-06-25
EP4102401A1 (en) 2022-12-14
EP4102401A4 (en) 2023-12-27
WO2022218011A1 (zh) 2022-10-20

Similar Documents

Publication Publication Date Title
JP2023524623A (ja) 交通異常を検出するための方法、装置、機器、記憶媒体およびプログラム
Siebert et al. Detecting motorcycle helmet use with deep learning
Lin et al. A Real‐Time Vehicle Counting, Speed Estimation, and Classification System Based on Virtual Detection Zone and YOLO
JP2023527265A (ja) 交通異常を検出する方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
US20130286198A1 (en) Method and system for automatically detecting anomalies at a traffic intersection
CN110619747A (zh) 一种高速公路道路智能监控方法及系统
CN111986228A (zh) 一种基于lstm模型扶梯场景下的行人跟踪方法、装置和介质
CN108766031B (zh) 一种检测车道障碍物的方法和装置
KR20100119476A (ko) 연속류도로 사고 및 돌발 자동판별 검지시스템 및 그 방법
CN109360362A (zh) 一种铁路视频监控识别方法、系统和计算机可读介质
CN113936465A (zh) 交通事件检测方法及装置
Xie et al. Development of a comprehensive framework for video-based safety assessment
CN111524350A (zh) 车路协同异常行驶状况检测方法、系统、终端设备及介质
CN113469115A (zh) 用于输出信息的方法和装置
CN116311166A (zh) 交通障碍物识别方法、装置及电子设备
CN117876966A (zh) 基于ai分析的智慧交通安防监控系统及方法
Desai et al. Smart road surveillance using image processing
Hu et al. Detecting socially abnormal highway driving behaviors via recurrent graph attention networks
Telaumbanua et al. Vehicle detection and identification using computer vision technology with the utilization of the yolov8 deep learning method
CN113850995A (zh) 一种基于隧道雷视数据融合的事件检测方法、装置及系统
CN113538968B (zh) 用于输出信息的方法和装置
CN116311071A (zh) 一种融合帧差和ca的变电站周界异物识别方法及系统
Vujović et al. Traffic video surveillance in different weather conditions
Kumar et al. Aerial Imaging Rescue and Integrated System for Road Monitoring Based on AI/ML
Maaloul Video-based algorithms for accident detections

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240521