JP7163718B2 - 干渉領域検出装置と方法及び電子機器 - Google Patents

干渉領域検出装置と方法及び電子機器 Download PDF

Info

Publication number
JP7163718B2
JP7163718B2 JP2018200562A JP2018200562A JP7163718B2 JP 7163718 B2 JP7163718 B2 JP 7163718B2 JP 2018200562 A JP2018200562 A JP 2018200562A JP 2018200562 A JP2018200562 A JP 2018200562A JP 7163718 B2 JP7163718 B2 JP 7163718B2
Authority
JP
Japan
Prior art keywords
score
current frame
pixel
frame
grayscale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018200562A
Other languages
English (en)
Other versions
JP2019121356A (ja
Inventor
ジャン・ナヌ
ワン・チィ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2019121356A publication Critical patent/JP2019121356A/ja
Application granted granted Critical
Publication of JP7163718B2 publication Critical patent/JP7163718B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報技術に関し、特に、領域検出装置と方法及び電子機器に関する。
シティ(都市)の交通状況が複雑になるにつれて、交通状況への監視及び制御のニーズが高まっている。ビデオ監視分野では、遺失物や忘れ物に対しての検出が、多くのイベントの検出、例えば、違法駐車検出、落とし物検出、道路侵入検出などの基礎である。大部分の遺失物検出のアルゴリズムが、異なる背景モデルによるものである。しかし、現実シーンの変化が誤検出を来す恐れがあり、特に、例えば道路標識や電柱、広告看板、道路境界という干渉領域では、誤検出がよりシビアである。
従来の道路検出アルゴリズムは、特徴に基づくアルゴリズム及びモデルに基づくアルゴリズムに分けることができ、そのうち、特徴に基づくアルゴリズムは、色特徴、幅及び辺縁(エッジ)に基づいて、各画素を線の領域又は線でない領域と標識(タグ付け)し、また、モデルに基づくアルゴリズムは、モデルに基づいて線を検出し、それは、まず、画像ブロック特徴を抽出し、その後、予め定義されたモデルとマッチングするが、この方法は、ノイズに敏感でない。
本発明の発明者は、次のようなことを発見した。即ち、上述の従来の道路検出方法のうち、特徴に基づくアルゴリズムは、参照画像が十分に明晰であり、且つ道路に他の物体がないことを要求し、モデルに基づくアルゴリズムは、そのモデルに一般的に直線モデル及び曲線モデルのみが含まれるため、各種の形状を有する道路標識などの干渉領域についてその検出効果が良くない。これらのアルゴリズムは、通常、監視開始の段階でのみ検出を行うため、監視ビデオの画像が明晰でない時に、その検出効果が悪くなり、また、監視シーンの変化又は監視カメラの振れが生じた時に、道路検出結果の信頼性が低くなる。また、リアルタイムで道路の検出を行う場合、システム処理の時間及び負担の増加を引き起こす恐れもある。
本発明の実施例は、干渉領域検出装置と方法及び電子機器を提供し、監視画像の所定領域内でのグレースケール値分布に基づいてグレースケール参照値を確定し、該グレースケール参照値に基づいて画素に点数(スコア)を付け、そして、採点の結果に基づいて干渉領域を確定することで、監視シーンの変化又は監視カメラの振れが生じた場合、リアルタイム且つ正確に干渉領域を検出することができ、従来のイベント検出システムに比べ、良好な互換性を有し、各種のイベントのための検出を補助することができ、且つ計算量が少ない。
本発明の実施例の第一側面によれば、干渉領域検出装置が提供され、前記装置は、監視ビデオの現在フレームの前景領域を確定する第一確定ユニット;前記現在フレーム中の所定領域内でのグレースケール値分布に基づいて、グレースケール参照値を確定する第二確定ユニット;前記所定領域内にあり且つ前景点に属しない各画素について、前記画素のグレースケール値と前記グレースケール参照値との差、及び前記画素の、前記現在フレームの前の1つのフレームにおけるスコアに基づいて、前記画素の、現在フレームにおけるスコアを更新する更新ユニット;及び、前記現在フレーム中の各画素の、現在フレームにおけるスコアに基づいて、干渉領域を確定する第三確定ユニットを含む。
本発明の実施例の第二側面によれば、電子機器が提供され、それは、本発明の実施例の第一側面に記載の干渉領域検出装置を含む。
本発明の実施例の第三側面によれば、干渉領域検出方法が提供され、前記方法は、監視ビデオの現在フレームの前景領域を確定し;前記現在フレーム中の所定領域内でのグレースケール値分布に基づいて、グレースケール参照値を確定し;前記所定領域内にあり且つ前景点に属しない各画素について、前記画素のグレースケール値と前記グレースケール参照値との差、及び前記画素の、前記現在フレームの前の1つのフレームにおけるスコアに基づいて、前記画素の、現在フレームにおけるスコアを更新し;及び、前記現在フレーム中の各画素の、現在フレームにおけるスコアに基づいて、干渉領域を確定することを含む。
本発明の有益な効果は、次の通りである。即ち、監視画像の所定領域内でのグレースケール値分布に基づいてグレースケール参照値を確定し、該グレースケール参照値に基づいて画素にスコアを付け、そして、採点の結果に基づいて干渉領域を確定することで、監視シーンの変化又は監視カメラの振れが生じた場合、リアルタイム且つ正確に干渉領域を検出することができ、従来のイベント検出システムに比べ、良好な互換性を有し、各種のイベントのための検出を補助することができ、且つ計算量が少ない。
本発明の実施例1における干渉領域検出方法を示す図である。 本発明の実施例1におけるグレースケール参照値確定方法を示す図である。 本発明の実施例1における現在フレームを示す図である。 本発明の実施例1における所定領域内での前景領域以外の領域のグレースケール値のヒストグラムである。 本発明の実施例1において所定領域内にあり且つ前景画素に属しない各画素についてそのスコアを確定する方法を示す図である。 本発明の実施例1におけるシーン1の現在フレームを示す図である。 図6に示す画像の検出結果画像である。 本発明の実施例1におけるシーン2の現在フレームを示す図である。 図8に示す画像の検出結果画像である。 本発明の実施例1におけるシーン3の現在フレームを示す図である。 図10に示す画像の検出結果画像である。 本発明の実施例2における誤検出除去方法を示す図である。 図8と同じ監視ビデオの異なるフレームを示す図である。 図13に示す画像の検出結果画像である。 図13中の候補領域4の第一勾配画像と第二勾配画像の重なり合いを示す図である。 本発明の実施例2における道路標識検出方法を示す図である。 本発明の実施例4における干渉領域検出装置を示す図である。 本発明の実施例4における第二確定ユニット1702を示す図である。 本発明の実施例4における更新ユニット1703を示す図である。 本発明の実施例4における第三確定ユニット1704を示す図である。 本発明の実施例5における電子機器を示す図である。 本発明の実施例5における電子機器のシステム構成図である。
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。
本実施例は、干渉領域検出方法を提供する。図1は、本実施例1における干渉領域検出方法を示す図である。図1に示すように、該方法は、次のようなステップを含む。
ステップ101:監視ビデオの現在フレームの前景領域を確定し;
ステップ102:該現在フレーム中の所定領域内でのグレースケール値分布に基づいて、グレースケール参照値を確定し;
ステップ103:該所定領域内にあり且つ前景点に属しない各画素について、該画素のグレースケール値と該グレースケール参照値との差、及び該画素の、現在フレームの前の1つのフレームにおけるスコアに基づいて、該画素の、現在フレームにおけるスコアを更新し;
ステップ104:該現在フレーム中の各画素の、現在フレームにおけるスコアに基づいて、干渉領域を確定する。
本実施例から分かるように、監視画像の所定領域内でのグレースケール値分布に基づいてグレースケール参照値を確定し、該グレースケール参照値に基づいて画素にスコアを付け、そして、採点の結果に基づいて干渉領域を確定することで、監視シーンの変化又は監視カメラの振れが生じた場合に、リアルタイム且つ正確に干渉領域を検出することができ、従来のイベント検出システムに比べ、良好な互換性を有し、各種のイベントのための検出を補助することができ、且つ計算量が少ない。
本実施例では、該監視ビデオは、監測する必要がある領域の上方に取り付けられたカメラにより得られても良い。
本実施例では、該監視ビデオは、時間的に連続した複数のフレームを有し、複数のフレームは、1つずつ検出されても良い。
ステップ101では、監視ビデオの現在フレームの前景領域の確定は、従来の方法、例えば、混合ガウスモデル法、Vibeアルゴリズム、フレーム差分アルゴリズムなどを用いることができる。本実施例では、カラー背景モデル法を用いて、移動(移動物体)前景及び遺失(遺失物)前景を同時に検出する。
本実施例では、前景領域内での画素点は、前景点(又は、前景画素)と称されても良い。
ステップ102では、該現在フレーム中の所定領域内でのグレースケール値分布に基づいて、グレースケール参照値を確定する。
本実施例では、該所定領域は、関心領域(Region of Interest、ROI)であっても良く、例えば、ROI領域は、道路が所在する(存在する)領域である。
本実施例では、該グレースケール参照値は、下色(under color)のグレースケール値、例えば、路面色のグレースケール値であっても良い。
以下、本実施例におけるグレースケール参照値の取得方法を例示的に説明する。
図2は、本発明の実施例1におけるグレースケール参照値確定方法を示す図である。図2に示すように、該方法は、次のようなステップを含む。
ステップ201:該所定領域内での前景領域以外の領域のグレースケール値のヒストグラムを取得し;
ステップ202:所定ステップ長に従って該ヒストグラムの各ウィンドウ内での画素に対して計数を行い;
ステップ203:最大数量の画素を有するウィンドウを確定し;
ステップ204:最大数量の画素を有するウィンドウ内での画素数量最大の点に対応するグレースケール値を該グレースケール参照値とする。
本実施例では、所定ステップ長は、ウィンドウの幅よりも小さく、該所定ステップ長及びウィンドウの幅は、実際のニーズに応じて設定されても良い。
図3は、本発明の実施例1における現在のフレームを示す図である。図3に示すように、領域1は、ROI領域を表し、領域2は、前景領域を表す。
図4は、本発明の実施例1における所定領域内での前景領域以外の領域のグレースケール値のヒストグラムである。図4に示すように、横坐標は、グレースケール値(0~255)であり、縦坐標は、該グレースケール値を有する画素の数量である。所定ステップ長stepに従って各ウィンドウwin 1,win 2,……,win n中の画素に対して計数し、最大数量の画素を有するウィンドウwin maxを確定し、該ウィンドウwin max内での画素数量最大の点(縦坐標上での最高点)に対応するグレースケール値は、グレースケール参照値thresである。
このように、上述のステップ201~204により、グレースケール参照値の正確性を保証することができる。
ステップ103では、該所定領域内にあり且つ前景点に属しない各画素について、該画素のグレースケール値と該グレースケール参照値との差、及び該画素の、現在フレームの前の1つのフレームにおけるスコアに基づいて、該画素の、現在のフレームにおけるスコアを更新する。
本実施例では、監視ビデオの第1個目のフレームの画像を処理する前に、各画素について1つの初期スコアを設定しても良く、例えば、初期スコアは、0である。
例えば、上述の差が0以上であり且つ該グレースケール参照値以下である時に、該画素の、現在フレームの前の1つのフレームにおけるスコアから所定スコアを減算して、該画素の、現在フレームにおけるスコアを得ることができ、該差が該グレースケール参照値よりも大きく且つ255以下である時に、該画素の、現在フレームの前の1つのフレームにおけるスコアに所定スコアを加算して、該画素の、現在フレームにおけるスコアを得ることができる。
本実施例では、該所定スコアは、実際のニーズに応じて設定されても良い。例えば、
該差が0~第一閾値t1の間の数値である時に、該画素の、現在フレームの前の1つのフレームにおけるスコアから2を減算して、該画素の、現在フレームにおけるスコアを取得し;
該差が第一閾値t1~該グレースケール参照値thresの間の数値である時に、該画素の、現在フレームの前の1つのフレームにおけるスコアから1を減算して、該画素の、現在フレームにおけるスコアを取得し;
該差が該グレースケール参照値thres~第二閾値t2の間の数値である時に、該画素の、現在フレームの前の1つのフレームにおけるスコアに1を加算して、該画素の、現在フレームにおけるスコアを取得し;
該差が第二閾値t2~255の間の数値である時に、該画素の、現在フレームの前の1つのフレームにおけるスコアに2を加算して、該画素の、現在フレームにおけるスコアを取得する。
本実施例では、各画素グレースケール値の最大範囲は、0~255であり、第一閾値t1は、0~thresの数値であり、第二閾値t2は、thres~255の数値であり、その具体的な数値は、実際のニーズに応じて設定されても良い。
例えば、以下の公式(1)に基づいて、該所定領域内にあり且つ前景点に属しない各画素のスコアを計算することができる。
Figure 0007163718000001
そのうち、(x,y)は、該所定領域内にあり且つ前景点に属しない画素P(x,y)が所在する位置を示し、SCORE(x,y)は、該画素P(x,y)の、現在フレームにおけるスコアを示し、score(x,y)は、該画素P(x,y)の、前の1つのフレームにスコアを示し、Dは、該画素P(x,y)のグレースケール値と、グレースケール参照値thresとの差を示し、t1は、第一閾値を示し、t2は、第二閾値を示す。
図5は、本発明の実施例1において該所定領域内にあり且つ前景点に属しない各画素についてそのスコアを確定する方法を示す図である。図5に示すように、該方法は、次のようなステップを含む。
ステップ501:該画素のグレースケール値と、グレースケール参照値との差の絶対値|D|を計算し;
ステップ502:|D|∈[0,t1]であるかを判断し、判断結果が“はい”の場合、ステップ503に進み、判断結果が“いいえ”の場合、ステップ504に進み;
ステップ503:SCORE(x,y)=score(x,y)-2;
ステップ504:|D|∈(t1,thres]であるかを判断し、判断結果が“はい”の場合、ステップ505に進み、判断結果が“いいえ”の場合、ステップ506に進み;
ステップ505:SCORE(x,y)=score(x,y)-1;
ステップ506:|D|∈(thres,t2)であるかを判断し、判断結果が“はい”の場合、ステップ507に進み、判断結果が“いいえ”の場合、ステップ508に進み;
ステップ507:SCORE(x,y)=score(x,y)+1;
ステップ508:|D|∈[t2,255]であるかを判断し、判断結果が“はい”の場合、ステップ509に進み、判断結果が“いいえ”の場合、ステップ510に進み;
ステップ509:SCORE(x,y)=score(x,y)+2;
ステップ510:SCORE(x,y)を出力する。
本実施例では、該所定領域内にあり且つ前景点に属しない各画素について、上述のステップ501~510を繰り返して実行することで、該所定領域内にあり且つ前景点に属しない全ての画素のスコアを得ることができる。
ステップ104では、該現在フレーム中の各画素の、現在フレームにおけるスコアに基づいて、干渉領域を確定する。
例えば、現在フレーム中の各画素について、該所定領域内にあり且つ前景点に属しない画素のスコアが更新されたが、他の画素のスコアが更新されず、依然として、該画素の、前の1つのフレームにおけるスコアを保持する。現在フレームのサイズがm×nであり、m及びnは、それぞれ、現在フレームの長さ及び幅上での画素の数量であるとすれば、現在フレームの全ての画素の、現在フレームにおけるスコアにより、1つのm×nのスコア行列を構成することができる。
その後、現在フレーム中の各画素の、現在フレームにおけるスコアを、各画素のグレースケール値とし、現在フレームの検出結果画像を構成する。
本実施例では、監視ビデオの複数の連続したフレームに対して1つずつ干渉領域の検出を行い、また、各フレームの検出に当たって該スコア行列を更新する。よって、監視シーンが変わったとしても、新しいシーンに対して各画素のスコアを迅速に更新し、検出結果の正確性を保証することができる。
図6は、本発明の実施例1におけるシーン1の現在フレームを示す図である。図7は、図6に示す画像の検出結果画像である。図6及び図7に示すように、晴天で影があるシーンについて、干渉領域検出後に、道路標識(道路分離線、矢印)、道路境界、欄干及び木の影などの干渉領域が正確に検出されている。
図8は、本発明の実施例1におけるシーン2の現在フレームを示す図である。図9は、図8に示す画像の検出結果画像である。図8及び図9に示すように、ノーマルシーンについて、干渉領域検出後に、道路標識(道路分離線、矢印)、道路境界、電柱などの干渉領域が正確に検出されている。
図10は、本発明の実施例1におけるシーン3の現在フレームを示す図である。図11は、図10に示す画像の検出結果画像である。図10及び図11に示すように、雨の夜のシーンについて、干渉領域検出後に、道路標識(道路分離線、矢印)、光が反射する路面に溜まった水などの干渉領域が正確に検出されている。
本実施例から分かるように、監視画像の所定領域内でのグレースケール値分布に基づいてグレースケール参照値を確定し、該グレースケール参照値に基づいて画素にスコアを付け、そして、採点の結果に基づいて干渉領域を確定すること、監視シーンの変化又は監視カメラの振れが生じた場合、リアルタイム且つ正確に干渉領域を検出することができ、従来のイベント検出システムに比べ、良好な互換性を有し、各種イベントのための検出を補助することができ、且つ計算量が少ない。
本実施例は、さらに、誤検出除去方法を提供する。図12は、本発明の実施例2における誤検出除去方法を示す図である。図12に示すように、該方法は、次のようなステップを含む。
ステップ1201:監視ビデオの現在フレームの干渉領域検出結果画像を取得し;
ステップ1202:現在フレームの候補領域のグレースケール画像の第一勾配画像を取得し;
ステップ1203:現在フレームの干渉領域検出結果画像中の該候補領域所在領域に対応する第二勾配画像を取得し;
ステップ1204:第一勾配画像と第二勾配画像との重なった(重畳した)部分の面積と、第一勾配画像面積との比が所定閾値よりも大きい時に、該候補領域を除去する。
本実施例では、干渉領域検出結果画像の取得方法は、実施例1を参照でき、ここでは、その詳しい説明を省略する。
本実施例では、勾配画像の取得方法は、従来技術を参照でき、ここでは、その詳しい説明を省略する。
本実施例では、該候補領域は、イベント検出の目標物体の候補領域であっても良く、例えば、該目標物体は、移動中の車両又は道路に落とした遺失物であっても良い。
本実施例では、該所定閾値は、実際のニーズに応じて設定されても良い。
図13は、図8と同じ監視ビデオの異なるフレームを示す図である。図14は、図13に示す画像の検出結果画像である。図13に示すように、それは、候補領域3及び候補領域4を有する。候補領域4については、上述のステップ1202~1204を行う。
図15は、図13中の候補領域4の第一勾配画像と第二勾配画像の重なり合いを示す図である。図15に示すように、重なり合った領域5の面積が占める比が所定閾値よりも大きいため、候補領域4を目標物体から排除する。
本実施例から分かるように、検出された干渉領域を候補領域の排除のために用いることで、誤検出を有効に除去し、イベント検出の正確性を向上させることができる。
本実施例は、さらに、道路標識検出方法を提供する。図16は、本発明の実施例3における道路標識検出方法を示す図である。図16に示すように、該方法は、次のようなステップを含む。
ステップ1601:監視ビデオの現在フレームの干渉領域検出結果画像を取得し;
ステップ1602:道路標識分類器を用いて、該領域検出結果画像に対して検出を行い、道路標識を取得する。
本実施例では、干渉領域検出結果画像の取得方法は、実施例1を参照でき、ここでは、その詳しい説明を省略する。
本実施例では、該道路標識分類器は、従来の方法(例えば、ニューラルネットワークを利用した方法)で訓練により得ることができる。
本実施例から分かるように、道路標識分類器を用いて、直接、干渉領域検出結果画像に対して検出を行うため、検出効率を大幅に向上させることができ、また、風などの原因でカメラが移動して監視画像中の道路標識位置が変わったとしても、干渉領域検出結果画像が道路標識を含む干渉領域をリアルタイム且つ正確に反映し得るので、道路標識検出結果の正確性及び安定性を保証することができる。
本実施例は、さらに、干渉領域検出装置を提供し、それは、実施例1に記載の干渉領域検出方法に対応するため、該干渉領域検出装置の具体的な実施は、実施例1の干渉領域検出方法の実施を参照でき、重複記載は、省略される。
図17は、本発明の実施例4における干渉領域検出装置を示す図である。図17に示すように、干渉領域検出装置1700は、次のようなものを含む。
第一確定ユニット1701:監視ビデオの現在フレームの前景領域を確定し;
第二確定ユニット1702:現在フレーム中の所定領域内でのグレースケール値分布に基づいて、グレースケール参照値を確定し;
更新ユニット1703:該所定領域内にあり且つ前景点に属しない各画素について、該画素のグレースケール値と該グレースケール参照値との差、及び該画素の、現在フレームの前の1つのフレームにおけるスコアに基づいて、該画素の、現在フレームにおけるスコアを更新し;
第三確定ユニット1704:該現在フレーム中の各画素の、現在フレームにおけるスコアに基づいて、干渉領域を確定する。
図18は、本発明の実施例4における第二確定ユニット1702を示す図である。図18に示すように、第二確定ユニット1702は、次のようなものを含む。
取得ユニット1801:該所定領域内での前景領域以外の領域のグレースケール値のヒストグラムを取得し;
計数ユニット1802:所定ステップ長に従って、該ヒストグラムの各ウィンドウ内での画素に対して計数を行い;
第四確定ユニット1803:最大数量の画素を有するウィンドウを確定し;
第五確定ユニット1804:最大数量の画素を有するウィンドウ内での画素数量最大の点に対応するグレースケール値を該グレースケール参照値とする。
図19は、本発明の実施例4における更新ユニット1703を示す図である。図19に示すように、更新ユニット1703は、次のようなものを含む。
第一更新ユニット1901:上述の差が0以上であり且つ該グレースケール参照値以下である時に、該画素の、現在フレームの前の1つのフレームにおけるスコアから所定スコアを減算して、該画素の、現在フレームにおけるスコアを取得し;
第二更新ユニット1902:該差が該グレースケール参照値よりも大きく且つ255以下である時に、該画素の、現在フレームの前の1つのフレームにおけるスコアに所定スコアを加算して、該画素の、現在フレームにおけるスコアを取得する。
例えば、第一更新ユニット1901は、該差が0以上であり且つ第一閾値以下である時に、該画素の、現在フレームの前の1つのフレームにおけるスコアから2を減算して、該画素の、現在フレームにおけるスコアを取得し、該差が第一閾値よりも大きく且つ該グレースケール参照値以下である時に、該画素の、現在フレームの前の1つのフレームにおけるスコアから1を減算して、該画素の、現在フレームにおけるスコアを取得し;
第二更新ユニット1902は、該差が該グレースケール参照値よりも大きく且つ第二閾値よりも小さい時に、該画素の、現在フレームの前の1つのフレームにおけるスコアに1を加算して、該画素の、現在フレームにおけるスコアを取得し、該差が第二閾値以上であり且つ255以下である時に、該画素の、現在フレームの前の1つのフレームにおけるスコアに2を加算して、画素の、現在フレームにおけるスコアを取得する。
図20は、本発明の実施例4における第三確定ユニット1704を示す図である。図20に示すように、第三確定ユニット1704は、次のようなものを含む。
構成ユニット2001:現在フレーム中の各画素の、現在フレームにおけるスコアを各画素のグレースケール値として、現在フレームの検出結果画像を構成する。
本実施例から分かるように、道路標識分類器を用いて、直接、干渉領域検出結果画像に対して検出を行うため、検出効率を大幅に向上させることができ、また、風などの原因でカメラが移動して監視画像中の道路標識位置が変わったとしても、干渉領域検出結果画像が道路標識を含む干渉領域をリアルタイム且つ正確に反映し得るので、道路標識検出結果の正確性及び安定性を保証することができる。
本実施例は、さらに、電子機器を提供する。図21は、本発明の実施例5における電子機器を示す図である。図21に示すように、電子機器2100は、干渉領域検出装置2101を含み、該干渉領域検出装置2101の構造及び機能は、実施例4中の記載と同じであるため、ここでは、その詳しい説明を省略する。
図22は、本発明の実施例5における電子機器のシステム構成図である。図22に示すように、電子機器2200は、中央処理装置2201及び記憶器2202を含んでも良く、該記憶器2202は、該中央処理装置2201に接続される。該図は、例示に過ぎず、さらに他の類型の構造により該構造に対して補充又は代替を行うことで、電気通信機能又は他の機能を実現しても良い。
図22に示すように、該電子機器2200は、さらに、入力ユニット2203、表示器2204、及び電源2205を含んでも良い。
1つの実施方式では、実施例4に記載の干渉領域検出装置の機能は、該中央処理装置2201に統合することができる。そのうち、該中央処理装置2201は、次のように構成されても良く、即ち、監視ビデオの現在フレームの前景領域を確定し;前記現在フレーム中の所定領域内でのグレースケール値分布に基づいてグレースケール参照値を確定し;前記所定領域内にあり且つ前景点に属しない各画素について、前記画素のグレースケール値と前記グレースケール参照値との差、及び前記画素の、前記現在フレームの前の1つのフレームにおけるスコアに基づいて、前記画素の、現在フレームにおけるスコアを更新し;前記現在フレーム中の各画素の、現在フレームにおけるスコアに基づいて、干渉領域を確定する。
例えば、前記現在フレーム中の所定領域内でのグレースケール値分布に基づくグレースケール参照値の確定は、前記所定領域内での前景領域以外の領域のグレースケール値のヒストグラムを取得し;所定ステップ長に従って、前記ヒストグラムの各ウィンドウ内での画素に対して計数を行い;最大数量の画素を有するウィンドウを確定し;最大数量の画素を有するウィンドウ内での最高点に対応するグレースケール値を前記グレースケール参照値とする。
例えば、前記画素のグレースケール値と前記グレースケール参照値との差、及び前記画素の、前記現在フレームの前の1つのフレームにおけるスコアに基づく前記画素の、現在フレームにおけるスコアの確定は、該差が0以上であり且つ前記グレースケール参照値以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアから所定スコアを減算して、前記画素の、現在フレームにおけるスコアを取得し;該差が前記グレースケール参照値よりも大きく且つ255以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアに所定スコアを加算して、前記画素の、現在フレームにおけるスコアを取得することを含む。
例えば、該差が0以上であり且つ前記グレースケール参照値以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアから所定スコアを減算して、前記画素の、現在フレームにおけるスコアを取得することは、該差が0以上であり且つ第一閾値以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアから2を減算して、前記画素の、現在フレームにおけるスコアを取得し;該差が前記第一閾値よりも大きく且つ前記グレースケール参照値以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアから1を減算して、前記画素の、現在フレームにおけるスコアを取得することを含み、また、該差が前記グレースケール参照値よりも大きく且つ255以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアに所定スコアを加算して、前記画素の現在フレームにおけるスコアを取得することは、該値が前記グレースケール参照値よりも大きく且つ第二閾値よりも小さい時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアに1を加算して、前記画素の、現在フレームにおけるスコアを取得し;該差が前記第二閾値以上であり且つ255以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアに2を加算して、前記画素の、現在フレームにおけるスコアを取得することを含む。
例えば、前記所定領域内にあり且つ前景点に属しない画素の、現在フレームにおけるスコアに基づく干渉領域の確定は、前記現在フレーム中の前記所定領域内にあり且つ前景点に属しない画素以外の他の画素のスコアを0と確定し;前記現在フレーム中の各画素の、現在フレームにおけるスコアを各画素のグレースケール値とし、前記現在フレームの検出結果画像を構成することを含む。
もう1つの実施方式では、実施例4に記載の干渉領域検出装置は、該中央処理装置2201と別々で配置されても良く、例えば、該干渉領域検出装置を、該中央処理装置2201に接続されるチップとして構成し、該中央処理装置2201の制御で該干渉領域検出装置の機能を実現しても良い。
本実施例では、該電子機器2200は、必ずしも図22中の全ての部品を含む必要がない。
図22に示すように、該中央処理装置2201は、制御器又は操作コントローラと称される場合があり、マイクロプロセッサ又は他の処理装置及び/又は論理装置を含んでも良く、該中央処理装置2201は、入力を受けて該電子機器2200の各部品の操作を制御することができる。
該記憶器2202は、例えば、バッファ、フレッシュメモリ、HDD、移動可能な媒体、揮発性記憶器、不揮発性記憶器又は他の適切な装置のうちの1つ又は複数であっても良い。該中央処理装置2201は、該記憶器2202に記憶のプログラムを、情報の記憶又は処理を実現するために用いられる。なお、他の部品の機能は、従来と同様であるため、ここでは、その詳しい説明を省略する。また、該電子機器2200の各部品は、専用ハードウェア、ファームウェア、ソフトウェア又はその組み合わせにより実現されても良いが、これらは、すべて、本発明の範囲に属する。
本実施例から分かるように、道路標識分類器を用いて、直接、干渉領域検出結果画像に対して検出を行うため、検出効率を大幅に向上させることができ、また、風などの原因でカメラが移動して監視画像中の道路標識位置が変わったとしても、干渉領域検出結果画像が道路標識を含む干渉領域をリアルタイム且つ正確に反映し得るので、道路標識検出結果の正確性及び安定性を保証することができる。
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、干渉領域検出装置又は電子機器中で前記プログラムを実行する時、前記プログラムは、コンピュータに、干渉領域検出装置又は電子機器中で実施例1に記載の干渉領域検出方法を実行させることができる。
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、コンピュータに、干渉領域検出装置又は電子機器中で、実施例1に記載の干渉領域検出方法を実行させることができる。
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。また、本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶するための記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims (10)

  1. 渉領域検出装置であって、
    監視ビデオの現在フレームの前景領域を確定する第一確定ユニット;
    前記現在フレーム中の所定領域内でのグレースケール値分布に基づいて、グレースケール参照値を確定する第二確定ユニット;
    前記所定領域内にあり且つ前景点に属しない各画素について、前記画素のグレースケール値と前記グレースケール参照値との差、及び前記画素の、前記現在フレームの前の1つのフレームにおけるスコアに基づいて、前記画素の、前記現在フレームにおけるスコアを更新する更新ユニット;及び
    前記現在フレーム中の各画素の、前記現在フレームにおけるスコアに基づいて、干渉領域を確定する第三確定ユニットを含む、装置。
  2. 請求項1に記載の装置であって、
    前記第二確定ユニットは、
    前記所定領域内での前景領域以外の領域のグレースケール値のヒストグラムを取得する取得ユニット;
    所定ステップ長に従って、前記ヒストグラムの各ウィンドウ内での画素に対して計数を行う計数ユニット;
    最大数量の画素を有するウィンドウを確定する第四確定ユニット;及び
    前記最大数量の画素を有するウィンドウ内での画素数量最大の点に対応するグレースケール値を前記グレースケール参照値とする第五確定ユニットを含む、装置。
  3. 請求項1に記載の装置であって、
    前記更新ユニットは、
    前記差の絶対値が0以上であり且つ前記グレースケール参照値以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアから所定スコアを減算して、前記画素の、前記現在フレームにおけるスコアを得る第一更新ユニット;及び
    前記差の絶対値が前記グレースケール参照値よりも大きく且つ255以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアに所定スコアを加算して、前記画素の、前記現在フレームにおけるスコアを得る第二更新ユニットを含む、装置。
  4. 請求項3に記載の装置であって、
    前記第一更新ユニットは、前記差の絶対値が0以上であり且つ第一閾値以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアから2を減算して、前記画素の、前記現在フレームにおけるスコアを取得し;前記差の絶対値が前記第一閾値よりも大きく且つ前記グレースケール参照値以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアから1を減算して、前記画素の、前記現在フレームにおけるスコアを取得し、
    前記第二更新ユニットは、前記差の絶対値が前記グレースケール参照値よりも大きく且つ第二閾値よりも小さい時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアに1を加算して、前記画素の、前記現在フレームにおけるスコアを取得し;前記差の絶対値が前記第二閾値以上であり且つ255以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアに2を加算して、前記画素の、前記現在フレームにおけるスコアを取得する、装置。
  5. 請求項1に記載の装置であって、
    前記第三確定ユニットは、
    前記現在フレーム中の各画素の、前記現在フレームにおけるスコアを各画素のグレースケール値として、前記現在フレームの検出結果画像を構成する構成ユニットを含む、装置。
  6. 請求項1~5のうちの任意の1項に記載の干渉領域検出装置を含む、電子機器。
  7. 干渉領域検出方法であって、
    監視ビデオの現在フレームの前景領域を確定し;
    前記現在フレーム中の所定領域内でのグレースケール値分布に基づいて、グレースケール参照値を確定し;
    前記所定領域内にあり且つ前景点に属しない各画素について、前記画素のグレースケール値と前記グレースケール参照値との差、及び前記画素の、前記現在フレームの前の1つのフレームにおけるスコアに基づいて、前記画素の、前記現在フレームにおけるスコアを更新し;及び
    前記現在フレーム中の各画素の、前記現在フレームにおけるスコアに基づいて、干渉領域を確定するステップを含む、方法。
  8. 請求項7に記載の方法であって、
    前記現在フレーム中の所定領域内でのグレースケール値分布に基づいて、グレースケール参照値を確定するステップは、
    前記所定領域内での前景領域以外の領域のグレースケール値のヒストグラムを取得し;
    所定ステップ長に従って、前記ヒストグラムの各ウィンドウ内での画素に対して計数を行い;
    最大数量の画素を有するウィンドウを確定し;及び
    前記最大数量の画素を有するウィンドウ内での画素数量最大の点に対応するグレースケール値を前記グレースケール参照値とすることを含む、方法。
  9. 請求項7に記載の方法であって、
    前記画素のグレースケール値と前記グレースケール参照値との差、及び前記画素の、前記現在フレームの前の1つのフレームにおけるスコアに基づいて、前記画素の、前記現在フレームにおけるスコアを確定するステップは、
    前記差の絶対値が0以上であり且つ前記グレースケール参照値以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアから所定スコアを減算して、前記画素の、前記現在フレームにおけるスコアを取得し;
    前記差の絶対値が前記グレースケール参照値よりも大きく且つ255以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアに所定スコアを加算して、前記画素の、前記現在フレームにおけるスコアを取得することを含む、方法。
  10. 請求項9に記載の方法であって、
    前記差の絶対値が0以上であり且つ前記グレースケール参照値以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアから所定スコアを減算して、前記画素の、前記現在フレームにおけるスコアを取得するステップは、
    前記差の絶対値が0以上であり且つ第一閾値以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアから2を減算して、前記画素の、前記現在フレームにおけるスコアを取得し;及び
    前記差の絶対値が前記第一閾値よりも大きく且つ前記グレースケール参照値以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアから1を減算して、前記画素の、前記現在フレームにおけるスコアを取得することを含み、
    前記差の絶対値が前記グレースケール参照値よりも大きく且つ255以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアに所定スコアを加算して、前記画素の、前記現在フレームにおけるスコアを取得するステップは、
    前記差の絶対値が前記グレースケール参照値よりも大きく且つ第二閾値よりも小さい時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアに1を加算して、前記画素の、前記現在フレームにおけるスコアを取得し;及び
    前記差の絶対値が前記第二閾値以上であり且つ255以下である時に、前記画素の、前記現在フレームの前の1つのフレームにおけるスコアに2を加算して、前記画素の、前記現在フレームにおけるスコアを取得することを含む、方法。
JP2018200562A 2018-01-10 2018-10-25 干渉領域検出装置と方法及び電子機器 Active JP7163718B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810021654.0A CN110033425B (zh) 2018-01-10 2018-01-10 干扰区域检测装置及方法、电子设备
CN201810021654.0 2018-01-10

Publications (2)

Publication Number Publication Date
JP2019121356A JP2019121356A (ja) 2019-07-22
JP7163718B2 true JP7163718B2 (ja) 2022-11-01

Family

ID=67234171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018200562A Active JP7163718B2 (ja) 2018-01-10 2018-10-25 干渉領域検出装置と方法及び電子機器

Country Status (2)

Country Link
JP (1) JP7163718B2 (ja)
CN (1) CN110033425B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569840B (zh) * 2019-08-13 2023-05-16 浙江大华技术股份有限公司 目标检测方法及相关装置
CN110782501B (zh) * 2019-09-09 2024-02-23 西安万像电子科技有限公司 图像处理方法及装置
CN115063323B (zh) * 2022-08-16 2022-11-15 威海凯思信息科技有限公司 一种基于自适应网络的图像处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008293325A (ja) 2007-05-25 2008-12-04 Noritsu Koki Co Ltd 顔画像解析システム
JP2016219935A (ja) 2015-05-18 2016-12-22 シャープ株式会社 画像処理装置、画像処理方法、及びプログラム
JP2017030380A (ja) 2015-07-29 2017-02-09 株式会社京三製作所 列車検知システムおよび列車検知方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1216933A (en) * 1984-06-01 1987-01-20 George F. Blackwell Gray scale image processor
WO2005099423A2 (en) * 2004-04-16 2005-10-27 Aman James A Automatic event videoing, tracking and content generation system
US7865015B2 (en) * 2006-02-22 2011-01-04 Huper Laboratories Co. Ltd. Method for video object segmentation
CN100468245C (zh) * 2007-04-29 2009-03-11 浙江工业大学 基于全方位计算机视觉的空调节能控制装置
GB2446293A (en) * 2008-01-31 2008-08-06 Siemens Ag Video based monitoring system and method
CN101398894B (zh) * 2008-06-17 2011-12-07 浙江师范大学 机动车车牌自动识别方法及其实现装置
CN101630363B (zh) * 2009-07-13 2011-11-23 中国船舶重工集团公司第七〇九研究所 复杂背景下彩色图像人脸的快速检测方法
US8660355B2 (en) * 2010-03-19 2014-02-25 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery
US9129277B2 (en) * 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
CN104823444A (zh) * 2012-11-12 2015-08-05 行为识别系统公司 用于视频监控系统的图像稳定技术
CN103778786B (zh) * 2013-12-17 2016-04-27 东莞中国科学院云计算产业技术创新与育成中心 一种基于显著车辆部件模型的交通违章检测方法
US9471844B2 (en) * 2014-10-29 2016-10-18 Behavioral Recognition Systems, Inc. Dynamic absorption window for foreground background detector
US9460522B2 (en) * 2014-10-29 2016-10-04 Behavioral Recognition Systems, Inc. Incremental update for background model thresholds
WO2016069902A2 (en) * 2014-10-29 2016-05-06 Behavioral Recognition Systems, Inc. Background foreground model with dynamic absorbtion window and incremental update for background model thresholds
WO2017028029A1 (zh) * 2015-08-14 2017-02-23 富士通株式会社 背景模型的提取方法、装置以及图像处理设备
WO2017028047A1 (zh) * 2015-08-14 2017-02-23 富士通株式会社 背景模型的提取方法、装置以及图像处理设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008293325A (ja) 2007-05-25 2008-12-04 Noritsu Koki Co Ltd 顔画像解析システム
JP2016219935A (ja) 2015-05-18 2016-12-22 シャープ株式会社 画像処理装置、画像処理方法、及びプログラム
JP2017030380A (ja) 2015-07-29 2017-02-09 株式会社京三製作所 列車検知システムおよび列車検知方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鷲見 育亮 外4名,自己組織化マップを用いた濃淡画像からの輪郭抽出手法DCDAM,情報処理学会研究報告,日本,社団法人情報処理学会,2008年01月31日,第2008巻 第10号,pp.7-13

Also Published As

Publication number Publication date
CN110033425A (zh) 2019-07-19
JP2019121356A (ja) 2019-07-22
CN110033425B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
Kulchandani et al. Moving object detection: Review of recent research trends
US9158985B2 (en) Method and apparatus for processing image of scene of interest
Chiu et al. A robust object segmentation system using a probability-based background extraction algorithm
US9230175B2 (en) System and method for motion detection in a surveillance video
Faro et al. Adaptive background modeling integrated with luminosity sensors and occlusion processing for reliable vehicle detection
Sommer et al. A survey on moving object detection for wide area motion imagery
Wang Real-time moving vehicle detection with cast shadow removal in video based on conditional random field
CN105631418B (zh) 一种人数统计的方法和装置
JP2018205920A (ja) 学習プログラム、学習方法および物体検知装置
JP7163718B2 (ja) 干渉領域検出装置と方法及び電子機器
US8553086B2 (en) Spatio-activity based mode matching
CN111881853B (zh) 一种超大桥隧中异常行为识别方法和装置
WO2013012091A1 (ja) 情報処理装置、物体追跡方法およびプログラム記憶媒体
JP7455841B2 (ja) シーン内の物体を追跡する方法
CN110008795A (zh) 图像目标追踪方法及其系统与计算机可读取存储介质
Huerta et al. Exploiting multiple cues in motion segmentation based on background subtraction
Huang et al. A real-time and color-based computer vision for traffic monitoring system
CN115761668A (zh) 摄像头的污渍识别方法、装置、车辆及存储介质
CN111191482B (zh) 一种刹车灯识别方法、装置及电子设备
US20130027550A1 (en) Method and device for video surveillance
Verma et al. Analysis of moving object detection and tracking in video surveillance system
Devi et al. A survey on different background subtraction method for moving object detection
Balisavira et al. Real-time object detection by road plane segmentation technique for ADAS
CN110858392A (zh) 一种基于融合背景模型的监控目标定位方法
Balcilar et al. Extracting vehicle density from background estimation using Kalman filter

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221003

R150 Certificate of patent or registration of utility model

Ref document number: 7163718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150