JP7110310B2 - 画像収集設備の監視方法、装置、電子設備、記憶媒体、及びプログラム - Google Patents

画像収集設備の監視方法、装置、電子設備、記憶媒体、及びプログラム Download PDF

Info

Publication number
JP7110310B2
JP7110310B2 JP2020198534A JP2020198534A JP7110310B2 JP 7110310 B2 JP7110310 B2 JP 7110310B2 JP 2020198534 A JP2020198534 A JP 2020198534A JP 2020198534 A JP2020198534 A JP 2020198534A JP 7110310 B2 JP7110310 B2 JP 7110310B2
Authority
JP
Japan
Prior art keywords
vehicle
determining
image
video image
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020198534A
Other languages
English (en)
Other versions
JP2021179964A (ja
Inventor
シアオシン ジュー
ファン ヤン
チョンファー ワン
ヨンイー スン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Publication of JP2021179964A publication Critical patent/JP2021179964A/ja
Application granted granted Critical
Publication of JP7110310B2 publication Critical patent/JP7110310B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、コンピュータビジョン分野に関し、特に、画像収集設備の監視方法、装置、電子設備、記憶媒体、及びプログラムに関する。
ビデオ監視のシーンでは、画像収集設備によって収集されるビデオ画像に良好な監視視野を有させるために、画像収集設備が設置される位置、向き角度はいずれも事前の計測により決定されたものである。
外力等の予期せぬ状況により、画像収集設備の位置や向き角度にずれが発生した場合、監視に影響を与える。従来技術では、作業者が画像収集設備の偏差を定期的に監視する必要がある。しかし、手動検出は、効率が低い一方、基準物がないため、監視精度が高くない。
本発明は、従来技術における1つ又は複数の技術的課題を解決するための画像収集設備の監視方法、装置、電子設備及び記憶媒体を提供する。
本発明の第1態様は、画像収集設備の監視方法を提供し、当該方法は、
画像収集設備によって収集される第1ビデオ画像から、各対象車両の停止位置を決定することと、
各対象車両の停止位置に基づいて第1ビデオ画像における標示線を決定することと、
第1ビデオ画像における基準標示線に対する標示線のずれ量を決定し、ずれ量が所定の条件を満たした場合、画像収集設備がずれていると決定することと、を含む。
上記の第1態様によれば、第1ビデオ画像における標示線と基準標示線とのずれ量を計算し、計算結果に基づいて画像収集設備のずれ状態を決定することにより、手動検出の作業量を軽減することができる。基準標示線があるため、ずれ量の監視精度を高めることができる。
一実施形態において、対象車両の決定は、
第1ビデオ画像の各フレーム静止画像に現れる各車両を認識し、各車両の走行軌跡を取得することと、
各車両の走行軌跡に基づいて、走行中に停車したことのある各第1車両を決定することと、
前方の所定範囲内に他の車両がない第1車両を対象車両として決定することと、を含む。
この実施形態によれば、車両認識と追跡技術を用いて、標示線を決定するための対象車両を自動的に確認することができる。
一実施形態において、走行中に停車したことのある各第1車両を決定することは、
各フレーム静止画像における各車両の位置変化量を取得することと、
位置変化量が閾値よりも低い車両を第1車両として決定することと、を含む。
この実施形態によれば、走行中に停車したことのある各車両を的確に選出することができる。
一実施形態において、停止位置に基づいて第1ビデオ画像における標示線を決定することは、
各対象車両の停止位置の座標を統計することと、
統計結果に基づいて第1ビデオ画像における標示線を決定することと、を含む。
この実施形態によれば、所定の数の対象車両の停止位置を用いて交差点の停止線の位置をマイニングすることができ、停止線を画像における標示線とすることで、画像における標示線を自動的に認識することができる。
一実施形態において、
ずれ量が所定の条件を満たさない場合、第1ビデオ画像における標示線を用いて基準標示線を調整することをさらに含む。
この実施形態によれば、標示線のサンプル数が十分に多い場合、基準標示線に対する調整結果を標示線の実際の状況に近づけることができる。
本発明の第2態様は、画像収集設備の監視装置を提供し、当該装置は、
画像収集設備によって収集される第1ビデオ画像から、各対象車両の停止位置を決定するための停止位置決定モジュールと、
各対象車両の停止位置に基づいて第1ビデオ画像における標示線を決定するための標示線決定モジュールと、
第1ビデオ画像における基準標示線に対する標示線のずれ量を決定し、ずれ量が所定の条件を満たした場合、画像収集設備がずれていると決定するためのずれ決定モジュールと、を備える。
一実施形態において、停止位置決定モジュールは、
第1ビデオ画像の各フレーム静止画像に現れる各車両を認識し、各車両の走行軌跡を取得するための走行軌跡決定サブモジュールと、
走行軌跡に基づいて、走行中に停車したことのある各第1車両を決定するための第1車両決定サブモジュールと、
前方の所定範囲内に他の車両がない第1車両を対象車両として決定するための対象車両決定サブモジュールと、を備える。
一実施形態において、第1車両決定サブモジュールは、さらに、
各フレーム静止画像における各車両の位置変化量を取得し、位置変化量が閾値よりも低い車両を第1車両として決定するために用いられる。
一実施形態において、標示線決定モジュールは、
各対象車両の停止位置の座標を統計するための座標統計サブモジュールと、
統計結果に基づいて第1ビデオ画像における標示線を決定するための標示線決定・実行サブモジュールと、を備える。
一実施形態において、
ずれ量が所定の条件を満たさない場合、第1ビデオ画像における標示線を用いて基準標示線を調整するための基準標示線調整モジュールをさらに備える。
本発明の第3態様は、電子設備を提供し、
少なくとも1つのプロセッサと、
少なくとも1つのプロセッサと通信接続するメモリと、を備え、
メモリには、少なくとも1つのプロセッサにより実行される命令が記憶されており、
命令は、少なくとも1つのプロセッサにより実行される場合、本発明のいずれか1項の実施形態に提供される方法を実行させる。
本発明の第4態様は、本発明のいずれか1項の実施形態に提供される方法をコンピュータに実行させるためのコンピュータ命令を記憶した非一過性のコンピュータ可読記憶媒体を提供する。
上記の選択可能な実施形態によるその他の効果については、具体的な実施形態を参照しながら後述する。
添付図面は、本方案をより良く理解するためのものであり、本発明を限定するものではない。
本発明による画像収集設備の監視方法のフローチャートである。 本発明により対象車両を決定するフローチャートである。 本発明により第1ビデオ画像における標示線を決定するフローチャートである。 本発明による画像収集設備の監視装置の模式図である。 本発明による停止位置決定モジュールの模式図である。 本発明による標示線決定モジュールの模式図である。 本発明の実施形態における画像収集設備の監視方法を実現するための電子設備のブロック図である。
以下、添付図面を参照しながら、本発明の例示的な実施形態について説明するが、理解を容易にするために本発明の実施形態の様々な詳細が含まれており、それらは単なる例示的なものと見なすべきである。したがって、当業者は、本発明の範囲及び旨から逸脱することがなく、本発明の明細書に記載された実施形態に対して様々な変更及び修正を行うことができることを理解すべきである。同様に、以下の説明では、明瞭かつ簡潔のために、公知の機能及び構造についての説明を省略する。
図1に示すように、一実施形態に提供される画像収集設備の監視方法は、
画像収集設備によって収集される第1ビデオ画像から、各対象車両の停止位置を決定するステップS101と、
各対象車両の停止位置に基づいて第1ビデオ画像における標示線を決定するステップS102と、
第1ビデオ画像における基準標示線に対する標示線のずれ量を決定し、ずれ量が所定の条件を満たした場合、画像収集設備がずれていると決定するステップS103と、を含む。
本発明では、上記ステップは、サーバ又はクラウドプロセッサなどのデータ処理設備により実現することができる。データ処理設備は、対象領域に設置された全ての画像収集設備によってアップロードされた情報を受信する。アップロード情報に対する分析に基づいて、各画像収集設備のずれ状態を検出することができる。
第1ビデオ画像は、連続する複数のフレーム静止画像を含み得る。例えば、1時間以内の連続する複数のフレーム静止画像、1日以内の連続する複数のフレーム静止画像などを含み得る。静止画像は、非連続の複数のフレームであってもよいことを理解するのは難しくない。
第1ビデオ画像の各フレーム静止画像内の全ての車両を認識して、対象車両を決定する。認識方法は、ナンバープレート認識、車体色認識、車体パターン認識、又は車種認識などのうちの1つ又は複数を含み得る。
車両を認識することにより、異なる車両に識別子(ID、Identity Document)を割り当てて区別することができる。認識された各車両から、標示線を決定するための車両を選出し、本実施形態では、このような車両を対象車両と呼ぶ。選出プロセスは、各車両の走行軌跡に基づいて、走行中に停止したことのある車両を決定することを含むようにしてもよい。そして、停止したことのある各車両から前列に停止した車両、即ち前方に他の車両がない対象車両を選出する。
一般に、赤信号のために交差点の第1列に停止している対象車両は、車頭が停止線を踏む。これに基づいて、所定の数の対象車両の停止位置に基づいて、第1ビデオ画像から停止線を一本得られる。当該停止線は、第1ビデオ画像における標示線とすることができる。
また、各車両の走行軌跡を取得した場合には、走行軌跡に基づいて車線を生成することもできる。例えば、車道の幅は、ビデオ画像のサンプルから事前に測定され得る。ビデオ画像内で走行軌跡を車道の幅に基づいて拡大することにより、走行軌跡から車道を得る。車道の両側にそれぞれの車線をマーキングして、第1ビデオ画像における標示線とする。
第1ビデオ画像における標示線を基準標示線と比較して、第1ビデオ画像における標示線のずれ量が所定の条件を満たすか否かを決定する。所定の条件は、標示線の一致度が閾値未満であること、傾斜差が閾値を超えることなどであることができる。所定の条件を満たす場合には、画像収集設備がずれていると決定することができる。ここで、ずれは、位置、角度の変更を含むが、これらに限定されない。
ここで、基準標示線は、第1ビデオ画像における標示線と同じ決定方法を採用することができる。例えば、画像収集設備の取り付けが完了してから1日目又は1ヶ月目に、対応する時間の複数のフレームの静止画像を認識し、認識によって得られた標示線を基準標示線としてもよい。
又は、画像収集設備の取り付けが完了した後、事前に訓練済みの標示線認識モデルを用いてビデオ画像における標示線を認識し、認識結果を基準標示線とする。
さらに、手動でマーキングする方法を採用してもよい。例えば、画像収集設備の取り付けが完了した後、作業者が当該画像収集設備によって収集されたビデオ画像に対して停止線をマーキングし、マーキング結果を基準標示線とする。
判断の正確性を高めるため、第1ビデオ画像における標示線と基準標示線とのずれ量が所定の条件を満たした場合、第1ビデオ画像に標示線を決定する方法と同じ方法を用いて、第2ビデオ画像、第3ビデオ画像などのビデオ画像内に標示線を決定することができる。
第2ビデオ画像、第3ビデオ画像などのビデオ画像における標示線をそれぞれ基準標示線と比較し、複数回の比較結果のいずれも基準標示線からのずれ量が所定の条件を満たした場合、画像収集設備がずれていると決定することができる。
この実施形態によれば、第1ビデオ画像における標示線を基準標示線と比較し、比較結果に基づいて画像収集設備のずれ状態を決定することにより、手動検出の作業量を軽減することができる。基準標示線の設置により、ずれ量の監視精度を高めることができる。
図2に示すように、一実施形態において、対象車両を決定することは、
第1ビデオ画像に現れた各フレーム画像内の各車両を認識して、各車両の走行軌跡を取得するS201と、
各車両の走行軌跡に基づいて、走行中に停車したことのある各第1車両を決定するS202と、
前方の所定範囲内に他の車両がない第1車両を対象車両として決定するS203と、を含む。
認識された第1車両に対して、第1ビデオ画像の各フレーム静止画像における第1車両の位置に基づいて、当該第1車両の走行軌跡を得ることができる。例えば、Nフレーム目の静止画像にID1と識別された車両が初めて検出されると、Nフレーム目の静止画像の後の、ID1と識別された車両を含む他のフレーム静止画像内に、ID1と識別された車両の位置をそれぞれ決定することができる。各位置は、1つの画素点又は画素ブロックとして抽象化し、各位置に対してフィッティングを行い、ID1と識別された車両の走行軌跡を得ることができる。
走行軌跡に基づいて、ID1と識別された車両が走行中に停車したことがあるか否かを決定することができる。停車したことがある場合、ID1と識別された車両を第1車両、即ちID1と識別された第1車両と決定することができる。
さらに、ID1と識別された第1車両が停車したときに、その前方に他の車両の有無を判断する必要がある。他の車両がない場合、ID1と識別された第1車両を対象車両として決定することができる。例えば、範囲閾値又は距離閾値を設定することができる。範囲閾値又は距離閾値内にID1と識別された第1車両の前方に他の車両の有無を検出する。他の車両がない場合には、ID1と識別された第1車両が停車したときに、その前方に他の車両がないと決定することができる。
一般に、赤信号の場合、車両が走行中に停車することがある。上記の判断プロセスにより、交差点に停車した1列目の車両を選出することができる。選出された対象車両の停止位置を用いて、後続のステップで停止線の位置を決定すること、即ち標示線の位置を決定することができる。
この実施形態によれば、車両認識及び追跡技術を用いて、標示線を決定するための対象車両を自動的に確認することができる。
一実施形態において、走行中に停車したことのある各第1車両を決定することは、
各フレーム静止画像における各車両の位置変化量を取得し、位置変化量が閾値よりも低い車両を第1車両として決定することを含む。
ID1と識別された車両を例として説明する。Nフレーム目の静止画像でID1と識別された車両が初めて検出されると、N+1フレーム目の静止画像から、各フレームの静止画像を全部1つずつ調べて、ID1と識別された車両を含む各フレーム静止画像を選出する。
選出された各フレーム静止画像内にID1と識別された車両の位置を決定する。ID1と識別された車両の、所定の数の静止画像内における位置変化量が閾値よりも低い場合には、ID1と識別された車両が走行中に停車することがあると決定できる。所定の数は30フレーム、50フレームなどであってもよい。
ID1と識別された車両の、所定の数の静止画像における位置変化量を、静止画像から直接決定することができる。例えば、静止画像において、ID1と識別された車両の認識結果は、1つの検出枠であってもよく、検出枠内に車両の識別子を標記する。検出枠の中心点をID1と識別された車両の位置としてもよい。ID1と識別された車両の検出枠の中心点の、各フレーム静止画像における座標に基づいて、ID1と識別された車両の位置変化量が得られる。
また、ID1と識別された車両の、各フレーム静止画像における位置をワールド座標系に換算することにより、ID1と識別された車両の位置変化量を決定してもよい。
この実施形態によれば、走行中に停車したことのある車両を正確に識別することができる。
図3に示すように、一実施形態において、停止位置に基づいて第1ビデオ画像における標示線を決定することは、
各対象車両の停止位置の座標を統計するS301と、
統計結果に基づいて第1ビデオ画像における標示線を決定するS302と、を含む。
画像において、各対象車両の認識結果は1つの検出枠であることができる。対象車両の進行方向に応じて検出枠の前方、後方を決定することができる。検出枠の前方を対応する対象車両の車頭位置とし、車頭位置を停止位置としてもよい。
対象車両が第1ビデオ画像の上辺縁から入って、下辺縁から出ることを例とする。各対象車両は交差点に並列に停止するため、第1ビデオ画像における各対象車両の停止位置の縦座標間の差は大きくない。これに基づいて、各対象車両の停止位置の縦座標の平均値を統計することができる。縦座標は静止画像内の座標であってもよく、例えば、各フレームの静止画像の左下隅の画素点を座標の原点としてもよい。縦座標の平均値に基づいてビデオ画像内に水平線分を得ることができる。当該水平線分は、標示線、即ち停止線とされてもよい。
この実施形態によれば、所定の数の対象車両の停止位置を用いて、交差点の停止線の位置をマイニングすることができる。停止線を画像における標示線とすることにより、画像における標示線を自動的に認識することができる。
一実施形態において、当該方法は、さらに、
ずれ量が所定の条件を満たさない場合、第1ビデオ画像における標示線を用いて基準標示線を調整することを含む。
第1ビデオ画像における標示線と基準標示線とのずれ量が所定の条件を満たさない場合には、画像収集設備の位置がずれていないと決定することができる。これに基づいて、基準標示線及び第1ビデオ画像における標示線を、両方とも標示線のサンプルとすることができる。各標示線サンプルを統計し、統計結果で基準標示線を置き換えることにより、基準標示線の調整を実現する。例えば、標示線を画素点で表示する場合には、各標示線の画素点の共通集合、又は画素点の和集合などを統計してもよい。又は、各標示線の中間標示線を統計してもよい。
この実施形態によれば、標示線のサンプルの数が十分に多い場合、基準標示線の調整結果を標示線の実際の状況に近づけることができる。
図4に示すように、本発明は、画像収集設備の監視装置を提供し、当該装置は、
画像収集設備によって収集される第1ビデオ画像から、各対象車両の停止位置を決定するための停止位置決定モジュール401と、
各対象車両の停止位置に基づいて第1ビデオ画像における標示線を決定するための標示線決定モジュール402と、
第1ビデオ画像における基準標示線に対する標示線のずれ量を決定し、ずれ量が所定の条件を満たした場合、画像収集設備がずれていると決定するためのずれ決定モジュール403と、を備える。
図5に示すように、一実施形態において、停止位置決定モジュール401は、
第1ビデオ画像の各フレーム静止画像に現れる各車両を認識し、各車両の走行軌跡を取得するための走行軌跡決定サブモジュール4011と、
各車両の走行軌跡に基づいて、走行中に停車したことのある各第1車両を決定するための第1車両決定サブモジュール4012と、
前方の所定範囲内に他の車両がない第1車両を対象車両として決定するための対象車両決定サブモジュール4013と、を備える。
一実施形態において、第1車両決定サブモジュール4012は、さらに、
各車両の各フレーム静止画像における位置変化量を取得し、位置変化量が閾値よりも低い車両を第1車両として決定するために用いられる。
図6に示すように、一実施形態において、標示線決定モジュール402は、
各対象車両の停止位置の座標を統計するための座標統計サブモジュール4021と、
統計結果に基づいて第1ビデオ画像における標示線を決定するための標示線決定・実行サブモジュール4022と、を備える。
一実施形態において、画像収集設備の監視装置は、さらに、
ずれ量が所定の条件を満たさない場合、第1ビデオ画像における標示線を用いて基準標示線を調整するための基準標示線調整モジュールを備える。
本発明の実施形態の各装置における各モジュールの機能は、上記方法の対応する記述を参照することができるため、ここでは説明を省略する。
本発明の実施形態によれば、本発明は、電子設備及び可読記憶媒体をさらに提供する。
図7に示すように、本発明の実施形態による画像収集設備の監視方法の電子設備のブロック図である。電子設備は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータのような様々な形態のデジタルコンピュータを表すことを意図している。電子設備は、さらに、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の類似のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことができる。本明細書で示した部材、それらの接続と関係、及びそれらの機能は、例示的なものにすぎず、本明細書に説明及び/又は主張する本発明の実施を制限することを意図していない。
図7に示すように、当該電子設備は、1つ又は複数のプロセッサ710と、メモリ720と、各部材を接続するための、高速インターフェース及び低速インターフェース含むインターフェースとを含む。各部材は、異なるバスを利用して互いに接続し、共通のマザーボードに取り付けられてもよく、必要に応じて他の方法で取り付けられてもよい。プロセッサは、電子設備で実行される命令を処理してもよく、外部入出力装置(例えば、インターフェースに結合された表示デバイス)にグラフィックユーザインターフェース(Graphical User Interface、GUI)を表示するための、メモリ又はメモリ上に記憶されたグラフィカル情報の命令を含む。他の実施形態では、必要がれば、複数のプロセッサ及び/又は複数のバスと複数のメモリとを一緒に使用してもよい。同様に、複数の電子設備を接続してもよく、各設備は、一部の必要な操作(例えば、サーバアレイ、ブレードサーバ群、又はマルチプロセッサシステムとして)を提供する。図7は、1つのプロセッサ710を例に挙げる。
メモリ720は、本発明にて提供される非一時的なコンピュータ可読記憶媒体である。ここで、前記メモリには、本発明で提供される画像収集設備の監視方法を前記少なくとも1つのプロセッサに実行させるように、少なくとも1つのプロセッサによって実行可能な命令が記憶されている。本発明の非一時的なコンピュータ可読記憶媒体には、本発明にて提供される画像収集設備の監視方法をコンピュータに実行させるためのコンピュータ命令が記憶されている。
メモリ720は、非一時的なコンピュータ可読記憶媒体として、本発明の実施形態の画像収集設備の監視方法に対応するプログラム命令/モジュール(例えば、図4に示す停止位置決定モジュール401、標示線決定モジュール402及びずれ決定モジュール403)などのような、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶するために用いることが可能である。プロセッサ710は、メモリ720に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することにより、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記方法の実施形態の画像収集設備の監視方法を実施する。
メモリ720は、オペレーティングシステムや少なくとも1つの機能に必要なアプリケーションプログラム記憶することが可能なプログラム記憶領域と、画像収集設備の監視方法による電子設備の使用によって作成されたデータなどを記憶することが可能なデータ記憶領域とを含む。また、メモリ720は、高速ランダムアクセスメモリを含んでもよく、非一時的なメモリを含んでもよく、例えば、少なくとも1つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートメモリデバイスがある。一部の実施形態において、メモリ720は、プロセッサ710に対して遠隔的に設置されたメモリを含むものを選択してもよく、これらの遠隔メモリは、ネットワークを介して上記電子設備に接続されてもよい。上記ネットワークは、実例としてインターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせを含むが、これらに限定されない。
上記電子設備は、入力装置730と出力装置740とをさらに含み得る。プロセッサ710、メモリ720、入力装置730及び出力装置740は、バス又は他の方法を介して接続されてもよく、図7では、バスを介して接続されることを例に挙げる。
入力装置730は、入力された数字や文字情報を受信可能で、上記電子設備のユーザ設定及び機能制御に関するキー信号の入力が発生し、例えば、タッチスクリーン、キーパッド、マウス、トラックボード、タッチパネル、ポインティングスティック、1つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置がある。出力装置740は、表示装置、補助照明装置(例えば、LED)、及び触覚フィードバック装置(例えば、振動モータ)などを含み得る。当該表示装置は、液晶ディスプレイ(Liquid Crystal Display、LCD)、発光ダイオード(Light Emitting Diode、LED)ディスプレイ及びプラズマディスプレイを含み得るが、これらに限定されるものではない。一部の実施形態において、表示装置はタッチスクリーンであってもよい。
本明細書で説明するシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向け回路(Application Specific Integrated Circuits、ASIC)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はこれらの組み合わせによって実現されることができる。これらの様々な実施形態は、少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステム上で実行及び/又は解釈されえる1つ又は複数のコンピュータプログラムに実装され、当該プログラマブルプロセッサは、特定用途向け又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信するとともに、データ及び命令を当該記憶システム、当該少なくとも1つの入力装置、及び当該少なくとも1つの出力装置に伝送することができる。
これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも言う)は、プログラマブルプロセッサの機械語命令を含み、プロセス指向及び/又はオブジェクト指向のプログラミング言語、及び/又はアセンブリ/機械語を用いてこれらのコンピュータプログラムを実施してもよい。本明細書に使用されるように、「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械語命令及び/又はデータをプログラマブルプロセッサに提供するための如何なるコンピュータプログラム製品、設備、及び/又は装置(例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理装置(programmable logic device、PLD))を意味し、機械可読信号としての機械語命令を受信する機械可読媒体を含む。「機械可読信号」という用語は、機械語命令及び/又はデータをプログラマブルプロセッサに提供するための如何なる信号を言う。
ユーザとのイントラクションを提供するために、コンピュータ上で本明細書に説明したシステム及び技術を実施してもよく、当該コンピュータは、ユーザに情報を表示するための表示装置(例えば、CRT(Cathode Ray Tube、ブラウン管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウスやトラックボールなど)とを有し、ユーザは当該キーボード及び当該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインターアクションを提供するために用いることができ、例えば、ユーザに提供されるフィードバックは、如何なる形式の感覚フィードバック(例えば、ビジョンフィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、如何なる形式(音響入力、音声入力又は触覚入力を含む)でユーザからの入力を受信してもよい。
本明細書に説明したシステム及び技術は、バックグラウンド部材を含むコンピューティングシステム(例えば、データサーバとして)、又はミドルウェア部材を含むコンピューティングシステム(例えば、アプリケーションサーバ)、又は、フロントエンド部材を含むコンピューティングシステム(例えば、グラフィカルユーザインターフェース又はWebブラウザを備えたユーザコンピュータであって、ユーザは当該グラフィカルユーザインターフェース又は当該Webブラウザを介して本明細書に説明したシステム及び技術に係る実施形態とインタラクションを行うことができる)に実行されてもよく、又は、このようなバックグラウンド部材、ミドルウェア部材、又はフロントエンド部材の任意の組合せを含むコンピューティングシステムで実行されてもよい。システムの部材は、任意の形態又は媒体のデジタルデータ通信(例えば、通信ネットワーク)を介して相互に接続されてもよい。通信ネットワークの例として、ローカルネットワーク(Local Area Network、LAN)、広域ネットワーク(Wide Area Network、WAN)及びインターネットを含む。
コンピュータシステムは、デバイス端末及びサーバを含み得る。デバイス端末及びサーバは、一般に、互いに離れていて、且つ通常通信ネットワークを介してインターアクションする。デバイス端末とサーバとの関係は、対応するコンピュータ上で実行されるとともに互いにデバイス端末―サーバ関係を有するコンピュータプログラムによって生成される。
なお、上記の様々な態様のフローを用いて、ステップを並び替え、追加、又は削除することが可能であることを理解すべきである。例えば、本発明に開示される技術的解決手段の望ましい結果が実現される限り、本発明に記載の各ステップは、同時に実行されても、順番に実行されても、異なる順序で実行されても良く、本明細書では制限しない。
上記具体的な実施形態は、本発明の保護範囲を限定するものではない。当業者は、設計要件やその他の要因に従って、様々な修正、組み合わせ、サブ組み合わせ、及び置換を行うことができることを理解すべきである。本発明の要旨及び原則内で行われるあらゆる修正、同価置換、改良などは、いずれも本発明の保護範囲に含まれるべきである。

Claims (13)

  1. 画像収集設備によって収集される第1ビデオ画像から、各対象車両の停止位置を決定することと、
    前記各対象車両の停止位置に基づいて前記第1ビデオ画像における標示線を決定することと、
    前記第1ビデオ画像における基準標示線に対する標示線のずれ量を決定し、前記ずれ量が所定の条件を満たした場合、前記画像収集設備がずれていると決定することと、を含むことを特徴とする画像収集設備の監視方法。
  2. 前記対象車両の決定は、
    前記第1ビデオ画像の各フレーム静止画像に現れた各車両を認識し、前記各車両の走行軌跡を取得することと、
    前記各車両の走行軌跡に基づいて、走行中に停車し各第1車両を決定することと、
    前方の所定範囲内に他の車両がない前記第1車両を前記対象車両と決定することと、を含むことを特徴とする請求項1に記載の画像収集設備の監視方法。
  3. 走行中に停車し各第1車両を決定することは、
    前記各フレーム静止画像に現れた各車両の位置変化量を取得することと、
    前記位置変化量が閾値よりも低い車両を第1車両と決定することと、を含むことを特徴とする請求項2に記載の画像収集設備の監視方法。
  4. 前記停止位置に基づいて前記第1ビデオ画像における標示線を決定することは、
    各前記対象車両の停止位置の縦座標の平均値求めることと、
    統計結果に基づいて前記第1ビデオ画像における標示線を決定することと、を含むことを特徴とする請求項1に記載の画像収集設備の監視方法。
  5. 前記ずれ量が所定の条件を満たさない場合、前記第1ビデオ画像における標示線を用いて前記基準標示線を調整することをさらに含むことを特徴とする請求項1に記載の画像収集設備の監視方法。
  6. 画像収集設備によって収集される第1ビデオ画像から、各対象車両の停止位置を決定する停止位置決定モジュールと、
    前記各対象車両の停止位置に基づいて前記第1ビデオ画像における標示線を決定する標示線決定モジュールと、
    前記第1ビデオ画像における基準標示線に対する標示線のずれ量を決定し、前記ずれ量が所定の条件を満たした場合、前記画像収集設備がずれていると決定するずれ決定モジュールと、を備えることを特徴とする画像収集設備の監視装置。
  7. 前記停止位置決定モジュールは、
    前記第1ビデオ画像の各フレーム静止画像に現れた各車両を認識し、前記各車両の走行軌跡を取得する走行軌跡決定サブモジュールと、
    前記各車両の走行軌跡に基づいて、走行中に停車し各第1車両を決定する第1車両決定サブモジュールと、
    前方の所定範囲内に他の車両がない前記第1車両を前記対象車両と決定する対象車両決定サブモジュールと、を備えることを特徴とする請求項6に記載の画像収集設備の監視装置。
  8. 前記第1車両決定サブモジュールは、さらに、
    前記各フレーム静止画像に現れた各車両の位置変化量を取得し、前記位置変化量が閾値よりも低い車両を第1車両と決定することに用いられることを特徴とする請求項7に記載の画像収集設備の監視装置。
  9. 前記標示線決定モジュールは、
    各前記対象車両の停止位置の縦座標の平均値求める座標統計サブモジュールと、
    統計結果に基づいて前記第1ビデオ画像における標示線を決定する標示線決定・実行サブモジュールと、を備えることを特徴とする請求項6に記載の画像収集設備の監視装置。
  10. 前記画像収集設備の監視装置は、
    前記ずれ量が所定の条件を満たさない場合、前記第1ビデオ画像における標示線を用いて前記基準標示線を調整する基準標示線調整モジュールをさらに備えることを特徴とする請求項6に記載の画像収集設備の監視装置。
  11. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに通信接続されるメモリと、を備え、
    前記メモリには、前記少なくとも1つのプロセッサにより実行可能な命令が記憶されており、
    前記命令は、前記少なくとも1つのプロセッサにより実行される場合、請求項1~5のいずれか1項に記載の画像収集設備の監視方法を実行させることを特徴とする電子設備。
  12. 請求項1~5のいずれか1項に記載の画像収集設備の監視方法をコンピュータに実行させるためのコンピュータ命令を記憶した非一過性のコンピュータ可読記憶媒体。
  13. コンピュータにおいて、プロセッサにより実行される場合、請求項1~5のいずれか1項に記載の画像収集設備の監視方法を実現することを特徴とするプログラム。
JP2020198534A 2020-05-15 2020-11-30 画像収集設備の監視方法、装置、電子設備、記憶媒体、及びプログラム Active JP7110310B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010413763.4A CN111540023B (zh) 2020-05-15 2020-05-15 图像采集设备的监测方法、装置、电子设备及存储介质
CN202010413763.4 2020-05-15

Publications (2)

Publication Number Publication Date
JP2021179964A JP2021179964A (ja) 2021-11-18
JP7110310B2 true JP7110310B2 (ja) 2022-08-01

Family

ID=71977748

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020198534A Active JP7110310B2 (ja) 2020-05-15 2020-11-30 画像収集設備の監視方法、装置、電子設備、記憶媒体、及びプログラム

Country Status (4)

Country Link
US (1) US11423659B2 (ja)
EP (1) EP3910533B1 (ja)
JP (1) JP7110310B2 (ja)
CN (1) CN111540023B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113075716A (zh) * 2021-03-19 2021-07-06 地平线(上海)人工智能技术有限公司 基于图像的车辆定位方法和装置、存储介质以及电子设备
CN113744345A (zh) * 2021-08-26 2021-12-03 浙江大华技术股份有限公司 相机倾斜检测方法、装置、电子装置和存储介质
CN114332826B (zh) * 2022-03-10 2022-07-08 浙江大华技术股份有限公司 一种车辆图像识别方法、装置、电子设备和存储介质
CN115842848B (zh) * 2023-03-01 2023-04-28 成都远峰科技发展有限公司 一种基于工业物联网的动态监控系统及其控制方法
CN117750196B (zh) * 2024-02-10 2024-05-28 苔花科迈(西安)信息技术有限公司 基于模版的井下钻场移动摄像装置的数据采集方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011154619A (ja) 2010-01-28 2011-08-11 Toyota Motor Corp 減速支援装置
JP2012146259A (ja) 2011-01-14 2012-08-02 Denso Corp 障害物報知装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006130725A (ja) * 2004-11-04 2006-05-25 Shuho:Kk インクジェット方式を利用したオフセット印刷方法およびそれによる印刷体
US8970701B2 (en) * 2011-10-21 2015-03-03 Mesa Engineering, Inc. System and method for predicting vehicle location
CN103162632B (zh) * 2013-03-26 2015-04-08 中国水利水电科学研究院 离心模型3d光学位移测量系统
CN103700277B (zh) * 2013-12-11 2016-03-30 安徽锐通信息技术有限公司 停车位置记录系统、移动终端和停车位置记录方法
CN104742912B (zh) * 2013-12-27 2017-08-04 比亚迪股份有限公司 车道偏移检测方法和装置
KR102203410B1 (ko) * 2014-10-20 2021-01-18 삼성에스디에스 주식회사 관심 영역 설정 방법 및 장치
CN104574438B (zh) * 2014-12-23 2017-05-31 中国矿业大学 一种用于绞车主轴轴向偏移视频检测方法
CN105828044A (zh) * 2016-05-09 2016-08-03 深圳信息职业技术学院 一种监控系统及其监控方法
KR102482414B1 (ko) * 2016-06-24 2022-12-29 삼성전자 주식회사 키 결합장치 및 이를 구비하는 전자장치
CN106303422B (zh) * 2016-08-12 2020-05-19 浙江宇视科技有限公司 一种视频实况显示方法及设备
CN106570906A (zh) * 2016-11-09 2017-04-19 东南大学 一种摄像机角度偏移条件下基于矩形图样的距离检测方法
CN107144285B (zh) * 2017-05-08 2020-06-26 深圳地平线机器人科技有限公司 位姿信息确定方法、装置和可移动设备
WO2019200563A1 (en) * 2018-04-18 2019-10-24 Baidu. Com Times Technology (Beijing) Co., Ltd. Map-less and localization-less lane following method for autonomous driving of autonomous driving vehicles on highway
CN109871752A (zh) 2019-01-04 2019-06-11 北京航空航天大学 一种基于监控视频检测车流提取车道线的方法
CN109949365B (zh) * 2019-03-01 2022-12-02 武汉光庭科技有限公司 基于路面特征点的车辆指定位置停车方法及系统
CN110401583B (zh) * 2019-06-21 2021-12-07 深圳绿米联创科技有限公司 设备替换的方法、装置、系统、移动终端以及存储介质
CN110516652B (zh) * 2019-08-30 2023-04-18 北京百度网讯科技有限公司 车道检测的方法、装置、电子设备及存储介质
CN110533925B (zh) * 2019-09-04 2020-08-25 上海眼控科技股份有限公司 车辆违法视频的处理方法、装置、计算机设备及存储介质
CN110798681B (zh) 2019-11-12 2022-02-01 阿波罗智联(北京)科技有限公司 成像设备的监测方法、装置和计算机设备
CN110909711B (zh) * 2019-12-03 2022-08-02 阿波罗智能技术(北京)有限公司 检测车道线位置变化的方法、装置、电子设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011154619A (ja) 2010-01-28 2011-08-11 Toyota Motor Corp 減速支援装置
JP2012146259A (ja) 2011-01-14 2012-08-02 Denso Corp 障害物報知装置

Also Published As

Publication number Publication date
US11423659B2 (en) 2022-08-23
EP3910533B1 (en) 2024-04-10
EP3910533A1 (en) 2021-11-17
CN111540023B (zh) 2023-03-21
US20210357660A1 (en) 2021-11-18
JP2021179964A (ja) 2021-11-18
CN111540023A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
JP7110310B2 (ja) 画像収集設備の監視方法、装置、電子設備、記憶媒体、及びプログラム
CN110738183B (zh) 路侧相机障碍物检测方法及装置
US11741690B2 (en) Method for generating parking model, electronic device, and storage medium
CN111652112B (zh) 一种车道流向的识别方法、装置、电子设备及存储介质
JP2021119507A (ja) 車線の決定方法、車線測位精度の評価方法、車線の決定装置、車線測位精度の評価装置、電子デバイス、コンピュータ可読記憶媒体、及びプログラム
US11405744B2 (en) Positioning method and device, on-board equipment, vehicle, and positioning system
CN110968718B (zh) 目标检测模型负样本挖掘方法、装置及电子设备
CN111292531B (zh) 交通信号灯的跟踪方法、装置、设备及存储介质
CN112528786A (zh) 车辆跟踪方法、装置及电子设备
US11447153B2 (en) Method and apparatus for annotating virtual lane at crossing
CN111523471B (zh) 车辆所在车道的确定方法、装置、设备以及存储介质
US20210190961A1 (en) Method, device, equipment, and storage medium for determining sensor solution
CN111540010B (zh) 一种道路监测的方法、装置、电子设备及存储介质
JP7200207B2 (ja) 地図生成方法、地図生成装置、電子機器、非一時的なコンピュータ読み取り可能な記憶媒体及びコンピュータプログラム
CN111666876A (zh) 用于检测障碍物的方法、装置、电子设备和路侧设备
CN111339877B (zh) 盲区的长度检测方法、装置、电子设备及存储介质
CN111353466A (zh) 车道线识别处理方法、设备、存储介质
CN111640301B (zh) 故障车辆检测方法及包括路侧单元的故障车辆检测系统
CN110843771B (zh) 障碍物识别方法、装置、电子设备及存储介质
CN111402308A (zh) 障碍物速度的确定方法、装置、设备和介质
CN111401248A (zh) 一种天空区域的识别方法、装置、电子设备及存储介质
CN110798681A (zh) 成像设备的监测方法、装置和计算机设备
CN111191619A (zh) 车道线虚线段的检测方法、装置、设备和可读存储介质
CN111462072A (zh) 点云图质量检测方法、装置以及电子设备
CN112581526A (zh) 障碍物检测的测评方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20220111

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220204

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220301

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20220518

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220720

R150 Certificate of patent or registration of utility model

Ref document number: 7110310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150