JP7392488B2 - 遺留物誤検出の認識方法、装置及び画像処理装置 - Google Patents

遺留物誤検出の認識方法、装置及び画像処理装置 Download PDF

Info

Publication number
JP7392488B2
JP7392488B2 JP2020006672A JP2020006672A JP7392488B2 JP 7392488 B2 JP7392488 B2 JP 7392488B2 JP 2020006672 A JP2020006672 A JP 2020006672A JP 2020006672 A JP2020006672 A JP 2020006672A JP 7392488 B2 JP7392488 B2 JP 7392488B2
Authority
JP
Japan
Prior art keywords
image
foreground
detection
remains
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020006672A
Other languages
English (en)
Other versions
JP2020177648A (ja
Inventor
ジャン・ナヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2020177648A publication Critical patent/JP2020177648A/ja
Application granted granted Critical
Publication of JP7392488B2 publication Critical patent/JP7392488B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、画像処理技術分野に関し、特に、遺留物（置き忘れた物）誤検出の認識方法、装置及び画像処理装置に関する。
ビデオ監視分野では、遺留物検出（abandoned object detection）が違法駐車検出、落とし物検出、道路侵入検出などの応用の基礎である。多くの遺留物検出のアルゴリズムが異なる背景モジュールに基づいている。背景モジュールは、各画素の履歴情報に基づいて更新される。幾つかの画素が背景モジュールとは異なる場合、前景と判断され得る。前景が長く続ければ、遺留領域（abandoned region）と判断され得る。しかし、環境の変化により誤検出が生じることがあり、特に、複雑なシーンでは、例えば、光線が持続的に変化するときに、遺留物の誤検出をもたらすことができる。
発明者が次のようなことを発見した。即ち、上述のような問題を解決するために、従来技術では、分類器を用いる方法が提案されており、多くの物体検出システムでは、分類器により、検出した前景が目標物体であるか、それとも、誤検出によるものであるかを判断することができる。出来の良い分類器が誤検出を避けることができるが、それは、遺留物検出システムに適用することができない。何故なら、遺留物が特定の類型に限定されず、例えば、箱、貨物、危険な液体である可能性があるからである。
上述のような問題のうちの少なくとも１つを解決するために、本発明の実施例は、遺留物誤検出の認識方法、装置及び画像処理装置を提供し、これにより、遺留物の誤検出を認識し、遺留物の誤検出による物体検出システムの検出精度への影響を無くすことができる。
本発明の実施例の第一側面によれば、遺留物誤検出の認識方法が提供され、そのうち、前記方法は、
現在のフレームの画像に対して前景検出を行い、現在のフレームの画像の前景画像を取得し、前記前景画像には遺留前景画像が含まれ；
前記遺留前景画像中の輪郭をクラスタリングしてグループを形成し、遺留物の候補領域とし；及び
前記遺留物の候補領域と参照背景画像との比較を行い、前記遺留物の候補領域が前記参照背景画像とマッチしたかを判断し、マッチした場合、遺留物の検出が誤検出であると判定することを含む。
本発明の実施例の第二側面によれば、遺留物誤検出の認識装置が提供され、そのうち、前記装置は、
現在のフレームの画像に対して前景検出を行い、現在のフレームの画像の前景画像を取得し、前記前景画像には遺留前景画像が含まれる前景検出ユニット；
前記遺留前景画像中の輪郭をクラスタリングしてグループを形成し、遺留物の候補領域とするクラスタリングユニット；及び
前記遺留物の候補領域と参照背景画像との比較を行い、前記遺留物の候補領域が前記参照背景画像とマッチしたかを判断し、マッチした場合、遺留物の検出が誤検出であると判定するマッチングユニットを含む。
本発明の実施例の第三側面によれば、画像処理装置が提供され、そのうち、前記画像処理装置は、前述の第二側面に記載の装置を含む。
本発明の実施例の第四側面によれば、コンピュータ可読プログラムが提供され、そのうち、認識装置又は画像処理装置中で前記プログラムを実行するときに、前記プログラムは、前記認識装置又は画像処理装置に、本発明の実施例の第一側面に記載の認識方法を実行させる。
本発明の実施例の第五側面によれば、コンピュータ可読プログラムを記憶した記憶媒体が提供され、そのうち、前記コンピュータ可読プログラムは、認識装置又は画像処理装置に、本発明の実施例の第一側面に記載の認識方法を実行させる。
本発明の実施例の有益な効果が次の通りであり、即ち、検出した、遺留物と見なされる候補領域（blob）と、キャッシング背景（参照背景画像）との比較を行い、マッチした場合、該候補領域（blob）が遺留物でないとし、誤検出であると判定し、そして、判定結果を前景検出モジュールにフィードバックし、前景検出モジュールに相応の処理を行ってもらうことで、遺留物の誤検出を避けることができる。
実施例1における遺留物誤検出の認識方法の１つの実施方式を示す図である。 或るフレームの画像の入力画像、前景マスク及びROIマスクを示す図である。 参照背景画像を更新することを示す図である。 参照背景画像を更新しないことを示す図である。 図1に示す方法で遺留物の候補領域と参照背景画像とのマッチングを判断するプロセスを示す図である。 遺留物検出を示す図である。 遺留物検出を示す他の図である。 実施例2における遺留物誤検出の認識装置を示す図である。 実施例2に係る遺留物誤検出の認識装置における判断ユニットを示す図である。 実施例3における画像処理装置を示す図である。
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。
本実施例は、遺留物誤検出の認識方法を提供し、図1は、本発明の実施例1における遺留物誤検出の認識方法の１つの実施方式を示す図である。図1に示すように、該方法は、以下のステップを含む。
ステップ101：現在のフレームの画像に対して前景検出を行い、現在のフレームの画像の前景画像を取得し、前記前景画像には遺留前景画像が含まれており；
ステップ102：前記遺留前景画像中の輪郭をクラスタリングしてグループを形成し、遺留物の候補領域とし；
ステップ103：前記遺留物の候補領域と参照背景画像との比較を行い、前記遺留物の候補領域が前記参照背景画像とマッチしたかを判断し、マッチした場合、遺留物の検出が誤検出であると判断する。
本実施例では、検出した、遺留物と見なされる候補領域（blob）と、キャッシング背景（参照背景画像）との比較を行い、両者がマッチしたかを判断し、マッチした場合、該候補領域（blob）が遺留物でないとし、誤検出であると判定する。これにより、遺留物検出が正確な検出であるかを認識することができ、遺留物誤検出の場合、即ち、遺留物に対しての検出が誤った場合、該判定結果を前景検出モジュールにフィードバックし、前景検出モジュールに相応の処理を行ってもらうこと、遺留物の誤検出を避けることができる。
本実施例のステップ101では、現在のフレームの画像は、ビデオ監視システムにより撮られたビデオ監視画像であっても良い。該現在のフレームの画像を前景検出モジュールに入力することにより、該現在のフレームの画像に対して前景検出を行うことができる。本実施例では、前景検出方法について限定せず、任意の前景検出方法、例えば、Gaussian Background Model方法、Vibeアルゴリズム、フレーム差分法などを採用しても良い。現在のフレームの画像に対して前景検出を行うことで、該現在のフレームの画像の前景画像を得ることができる。該前景画像には、移動前景及び遺留前景が含まれており、即ち、遺留物が検出されている。本実施例における方法により、該遺留物検出が正確な検出であるかを認識することができる。
本実施例のステップ102では、遺留前景について、１つのバイナリ画像により該遺留前景を表し、そして、該バイナリ画像中の輪郭を見つけ、これらの輪郭をクラスタリングしてグループを形成し、遺留物の候補領域（blob）とする。各グループが１つの候補対象とされ、即ち、候補領域である。なお、本実施例では、具体的なクラスタリング方法及びバイナリ画像から輪郭を見つける方法について限定せず、従来技術を採用しても良い。
本実施例のステップ103では、遺留物の候補領域と参照背景画像との比較を行い、該遺留物の候補領域が該参照背景画像とマッチしたかを判断し、マッチした場合、検出した該遺留物が本当の遺留物でなく、背景であることを意味し、即ち、該遺留物の検出が誤検出であると判定することができる。
本実施例では、参照背景画像は、ビデオ監視システムにより撮られた画像から取得されても良い。例えば、ビデオ監視システムは、各フレームの画像を取得し、或るフレームの画像に目標（object）が無いときに、そのグレースケール画像を参照背景画像としても良く、参照背景画像は、キャッシング背景とも称される。なお、各フレーム画像の目標検出方法については、本実施例では限定せず、従来の任意の方法を採用して現在のフレームの画像に目標があるかを判断しても良い。
本実施例では、現在のフレームの画像から検出した上述の前景画像の占用率に基づいて、該参照背景画像に対して更新を行うことができる。ここで、前景画像の占用率とは、該前景画像が現在のフレームの画像の関心領域（ROI）に占める比率を指す。
本実施例の１つの実施方式では、先ず、１つのROIにおける各行の占用率を計算し、その後、平均占用率を現在のフレームの画像の前景画像の占用率とすることができる。図2は、或るフレームの画像の入力画像（a）、前景マスク（b）及びROIマスク（c）を示す図である。図2に示すように、前景画像の占用率は、以下の公式で計算することができる。
Figure 0007392488000001
この公式では、Nyは、第y行の前景画素の画素数であり、
Figure 0007392488000002
であり、Lyは、第y行のROIの画素数であり、
Figure 0007392488000003
であり、Iyは、第y行の画素であり、fgmaskは、前景マスクであり、移動前景及び遺留前景を含み、roimaskは、ROIマスクであり、y、yu及びydは、行を表す。
なお、上述の前景画像の占用率の計算公式は、例示に過ぎず、本実施例の原理及び上述の公式に基づいて、以下のような変形公式を得ることもできる。
Figure 0007392488000004
また、本実施例のもう１つの実施方式では、ROI全体の前景画素数をROI全体の画素数で割ることにより得られた結果を前景画像の占用率としても良く、その公式は、以下の通りである。
Figure 0007392488000005
なお、上述の実施方式は、例示に過ぎず、本実施例は、上述の３つの公式に限定されない。
本実施例では、前景画像の占用率（occ）が所定の第一閾値よりも小さい場合、現在のフレームの画像に遺留物が存在しないと認定し、現在のフレームの画像を参照背景画像に更新し；前景画像の占用率が該所定の第一閾値以上である場合、現在のフレームの画像に遺留物が存在すると認定し、参照背景画像の更新を行わない。本実施例では、第一閾値の設定方式及び設定根拠について限定せず、経験に基づいて設定されても良く、環境を参照した上で設定されても良い。参照背景画像が遺留物とのマッチングを行うためのものであるから、該第一閾値を比較的小さい値に設定しても良い。言い換えると、occが非常に低いときに（第一閾値よりも小さい）、移動又は遺留物が無いことを意味し、現在のレームのグレースケール画像を参照背景画像に更新することができる。１つの実施方式では、第一閾値を0.03に設定しても良い。
図3は、参照背景画像を更新することを示す図であり、図3に示すように、この例では、前景画像の占用率が0であり、0.03よりも小さく、言い換えると、左側の画像に示すように、該車両がROIに進入する前に、ROIの内部に目標が存在せず、このときに、右側の画像に示すように、参照背景画像を、現在のフレームの画像に対応するグレースケール画像に更新することができる。
図4は、参照背景画像を更新しないことを示す図であり、図4に示すように、この例では、前景画像の占用率が0.21であり、0.03よりも高く、言い換えると、左側の画像に示すように、車両がROIに進入しており、ROIの内部に新しい目標が存在し、このときに、右側の画像に示すように、参照背景画像の更新を行わず、依然として、車両が来る前のグレースケール画像を参照背景画像とする。
以上、グレースケール画像を参照背景画像の例として説明を行ったが、本実施例では、これについて限定せず、現在のフレームの画像の他の形式の画像を参照背景画像としても良く、遺留物の候補領域と比較することができれば良い。
本実施例のステップ103では、遺留物の各候補領域と参照背景画像との比較を行っても良く、該候補領域が該参照背景画像とマッチした場合、該遺留物の検出が誤検出であると認定し、即ち、該遺留物は、本当の遺留物でなく、例えば、背景である可能性がある。
図5は、本実施例のステップ103の１つの実施方式を示す図である。図5に示すように、該方法は、以下のステップを含む。
ステップ501：前記参照背景画像中の、前記遺留物の候補領域に対応するマッチ範囲を確定し；
ステップ502：前記遺留物の候補領域と前記マッチ範囲とのマッチ度を計算し；
ステップ503：前記マッチ度が所定の第二閾値よりも大きい場合、前記遺留物の候補領域が前記マッチ範囲とマッチしており、前記遺留物の検出が誤検出であると判定し、そうでない場合、前記遺留物の検出が正確な検出であると判定する。
実施方式のステップ501では、該遺留物の候補領域のサイズに基づいて、該参照背景画像中の対応するマッチ範囲を確定することができる。例えば、候補blobのサイズを窓サイズとして、マッチ関数を用いて参照背景画像中でスライドして対応するマッチ範囲を見つけることができる。また、上述のマッチ範囲のサイズは、遺留物の候補領域のサイズよりも大きくても良く、その理由は、参照背景画像から現在のフレームの画像まで、ビデオ監視システムのカメラが移動する可能性があり、遺留物の候補領域のサイズよりも大きいマッチ範囲を設定することで、カメラ移動による影響を低減し得ることにある。本実施方式では、該マッチ範囲は、候補領域の所定の倍数、例えば、0.2倍であっても良いが、本実施例では、これについて限定せず、経験に基づいて該所定の倍数を他の値に設定しても良い。
図6は、遺留物検出を示す図であり、図6の（a）は、現在のフレームの画像を示しており、現在のフレームの画像から遺留物601が検出されており、図6の（b）は、遺留前景画像602を示しており、図6の（c）は、遺留前景画像602の候補領域603及び参照背景画像中のマッチ範囲604を示している。
本実施方式のステップ502では、遺留物の候補領域及び対応する参照背景画像中のマッチ範囲を得た後に、両者間のマッチ度を計算することができる。本実施例では、マッチ度の計算方式について限定しない。以下、１つの例をもとに説明を行う。
この例では、マッチ範囲がW×Hであり、候補領域がw×hであるとする。
まず、各候補領域のグレースケール画像をテンプレートとし、マッチ関数を用いてW×Hの参照背景画像中でスライドし、w×hの重畳（overlap）ブロックを比較し、比較結果を１つのマトリックス（mat）に保存し、得られたmatのサイズが(W-w+1)×(H-h+1)である。
その後、正規化相関係数法を用いて、テンプレートマッチングを、以下の公式に示すように行う。Iは、原画像（マッチ範囲内の参照背景画像）を表し、Tは、テンプレート画像（候補領域中のグレースケール画像）であり、Rは、マッチ結果、即ち、マッチ度である。
Figure 0007392488000006
そのうち、T(x’，y’)は、テンプレート画像の(x’，y’)位置の画素値を示し、I(x+x’’，y+y’’)は、テンプレート画像の(x+x’’，y+y’’)位置の画素値を示し；T’(x’，y’)は、テンプレート画像の(x’，y’)位置における正規化相関性係数であり；I(x+x’，y+y’)は、原画像の(x+x’，y+y’)位置における正規化相関性係数であり、R(x，y)は、(x，y)位置のマッチ結果を表す。
本実施方式では、原画像Iとテンプレート画像Tとの類似性（マッチ度）を計算する前に正規化処理を行うことができ、該操作は、光線の変化による誤差を避けることができる。結果マトリックスRの値が-1～1の範囲内にあり、1は、原画像Iがテンプレート画像Tと同じであることを示し、-1は、原画像Iがテンプレート画像Tと逆であることを示し、0は、原画像Iとテンプレート画像Tとの間に線形関係がないことを表す。
本実施方式では、結果マトリックスR中で最大値をLookupする方式で、テンプレート画像Tの、原画像Iにおける最適マッチ位置を見つけることができ、例えば、結果マトリックスR中で各画素位置（x，y）に、マッチ範囲内で（x，y）を開始点として計算されたマッチ度が格納されているから、結果マトリックスR中のマッチ度最高の画素位置は、対応するマッチ範囲内の最適マッチ位置である。
上述のマッチ度の計算方法は、例示に過ぎず、従来の任意のマッチ度計算方法が採用されても良い。
本実施方式のステップ503では、マッチ閾値（第二閾値という）が設定され、マッチ度が該マッチ閾値よりも大きい場合、両者がマッチしていると判断し、即ち、該遺留物が本当の遺留物でなく、背景である可能性があり、現在の遺留物に対しての検出が誤検出に属し；逆に、マッチ度が該マッチ閾値よりも小さい場合、両者がマッチしないと判断し、即ち、該遺留物が本当の遺留物であり、現在の遺留物に対しての検出が正確なものである。
上述のマッチ度の計算方法を例とする場合、上述のマッチ度の計算結果中の最大値を最終マッチ度（match_degree）とすることができる。match_degreeが高いほど、原画像Iとテンプレート画像Tとのマッチの程度が高い。上述の第二閾値により、本当の遺留物の検出と誤検出を区別することができる。言い換えると、match_degreeが第二閾値よりも大きい場合、該遺留物の候補領域が参照背景画像とマッチしており、誤検出であると判断する。
本実施例では、第二閾値の設定方式及び設定根拠について限定せず、該第二閾値が上述の候補領域とマッチ範囲とのマッチングの判断のために用いられるので、該第二閾値は、ニーズに応じて設定されても良く、例えば、マッチ精度への要求が高いときに、それを比較的大きい値に設定しても良く、マッチ精度への要求が高くないときに、それを比較的小さい値に設定しても良い。１つの実施方式では、第二閾値は0.8に設定されても良い。
図6の例では、マッチ度が0.1093であり、0.8よりも小さいため、原画像Iがテンプレート画像Tとマッチしないを判断し、このような場合、本実施例における方法により、誤検出であると判断せず、言い換えると、図6中の遺留物601は、本当の遺留物である。
図7は、遺留物検出を示す他の図である。図7の（a）は、現在のフレームの画像を示しており、現在のフレームの画像から遺留物701が検出されており、図7の（b）は、遺留前景画像702を示しており、図7の（c）は、遺留前景画像702の候補領域703及び参照背景画像中のマッチ範囲704を示している。
図7に示すように、この例では、マッチ度が0.969であり、0.8よりも大きい。これは、原画像Iがテンプレート画像Tとマッチしたこと意味する。このような場合、本実施例における方法により、誤検出であると判断し、言い換えると、図7中の遺留物701は、本当の遺留物でなく、背景の一部である。このような誤検出は、光線の変化に由来する可能性があり、他の原因による可能性もある。
本実施例における方法により誤検出の判断結果を得た後に、誤検出の情報を前景検出モジュールにフィードバックし、また、背景モデルを調整することができ、これにより、遺留物の誤検出を避けることができる。本実施例では、前景検出モジュールの該情報受信後の処理方式について限定せず、前景検出モジュールは、該情報に基づいて任意の可能な処理を行っても良く、また、本実施例では、背景モデルの調整方式についても限定しない。
本実施例では、検出した、遺留物と見なされる候補領域（blob）と、キャッシング背景（参照背景画像）との比較を行い、マッチした場合、該候補領域（blob）が遺留物でないとし、誤検出であると判定し、そして、判定結果を前景検出モジュールにフィードバックし、前景検出モジュールに相応の処理を行ってもらうことで、遺留物の誤検出を避けることができる。
本実施例は、遺留物誤検出の認識装置を提供し、該装置が問題を解決する原理が実施例1の方法と類似しているため、その具体的な実施は、実施例1の方法の実施を参照することができ、ここでは、内容が同じである重複説明が省略される。
図8は、本実施例における遺留物誤検出の認識装置800を示す図である。図8に示すように、該遺留物誤検出の認識装置800は、前景検出ユニット801、クラスタリングユニット802及び判断ユニット803を含み、該前景検出ユニット801は、現在のフレームの画像に対して前景検出を行い、現在のフレームの画像の前景画像を取得し、前記前景画像には遺留前景画像が含まれ；該クラスタリングユニット802は、前記遺留前景画像中の輪郭をクラスタリングしてグループを形成し、遺留物の候補領域とし；該判断ユニット803は、前記遺留物の候補領域と参照背景画像との比較を行い、前記遺留物の候補領域が前記参照背景画像とマッチしたかを判断し、マッチした場合、遺留物の検出が誤検出であると判定する。
本実施例では、現在のフレームの画像は、ビデオ監視画像であっても良いが、本実施例は、これに限定されない。
本実施例では、図8に示すように、該遺留物誤検出の認識装置800は、さらに、以下のものを含んでも良い。
更新ユニット804：前記前景画像の占用率に基づいて前記参照背景画像を更新し、前記前景画像の占用率とは、前記前景画像が前記現在のフレームの画像の関心領域（ROI）に占める比率を指す。
本実施例では、更新ユニット804は、前景画像の占用率が所定の第一閾値よりも小さい場合、現在のフレームの画像に遺留物が存在しないと判定し、現在のフレームの画像を参照背景画像に更新する。更新ユニット804は、さらに、前景画像の占用率が所定の第一閾値以上である場合、現在のフレームの画像に遺留物があると判定し、参照背景画像の更新を行わない。
１つの実施方式では、更新ユニット804は、以下の公式で前景画像の占用率を計算することができる。
Figure 0007392488000007
そのうち、Nyは、第y行の前景画素の画素数であり、
Figure 0007392488000008
であり、Lyは、第y行のROIの画素数であり、
Figure 0007392488000009
であり、Iyは、第y行の画素であり、fgmaskは、前景マスクであり、roimaskは、ROIマスクである。
図9は、本実施例における判断ユニット803の１つの実施方式を示す図である。図9に示すように、該判断ユニット803は、確定ユニット901、計算ユニット902及び決定ユニット903を含んでも良く、該確定ユニット901は、参照背景画像における、遺留物の候補領域に対応するマッチ範囲を確定し、該計算ユニット902は、遺留物の候補領域とマッチ範囲とのマッチ度を計算し、該決定ユニット903は、マッチ度が所定の第二閾値よりも大きい場合、遺留物の候補領域がマッチ範囲とマッチしたとし、遺留物の検出が誤検出であると判断し、そうでない場合、遺留物の検出が正確な検出であると確定することができる。
本実施方式では、上述のマッチ範囲のサイズが遺留物の候補領域のサイズよりも大きくても良い。
本実施例では、図8に示すように、該遺留物誤検出の認識装置800は、さらに、以下のものを含んでも良い。
フィードバックユニット805：誤検出の情報を前景検出モジュールにフィードバックし、また、背景モデルを調整する。
本実施例では、検出した、遺留物と見なされる候補領域（blob）と、キャッシング背景（参照背景画像）との比較を行い、マッチした場合、該候補領域（blob）が遺留物でなく、誤検出であると判定し、そして、判定結果を前景検出モジュールにフィードバックし、前景検出モジュールに相応の処理を行ってもらうことで、遺留物の誤検出を避けることができる。
本実施例は、画像処理装置を提供し、該画像処理装置は、実施例2に記載の遺留物誤検出の認識装置を含む。
図10は、本実施例における画像処理装置を示す図である。図10に示すように画像処理装置1000は、中央処理器（CPU）1001及び記憶器1002を含んでも良く、記憶器1002は、中央処理器1001に接続される。そのうち、該記憶器1002は、各種のデータを記憶することができ、また、情報処理用のプログラムを記憶し、且つ中央処理器1001の制御下で該プログラムを実行することもできる。
１つの実施方式では、遺留物誤検出の認識装置800の機能が中央処理器1001に集積されても良い。そのうち、中央処理器1001は、実施例1に記載の遺留物誤検出の認識方法を実現するように構成されても良い。
もう１つの実施方式では、遺留物誤検出の認識装置800が中央処理器1001と別々で配置されても良く、例えば、遺留物誤検出の認識装置800は、中央処理器1001に接続されるチップとして構成され、中央処理器1001の制御により遺留物誤検出の認識装置800の機能を実現しても良い。
本実施例では、中央処理器1001は、次のような制御を行うように構成されても良く、即ち、現在のフレームの画像に対して前景検出を行い、現在のフレームの画像の前景画像を取得し、前記前景画像には遺留前景画像が含まれ；前記遺留前景画像中の輪郭をクラスタリングしてグループを形成し、遺留物の候補領域とし；前記遺留物の候補領域と参照背景画像との比較を行い、前記遺留物の候補領域が前記参照背景画像とマッチしたかを判断し、マッチした場合、遺留物の検出が誤検出であると判断する。
また、図10に示すように、画像処理装置1000は、さらに、入出力（I/O）装置1003、表示器1004などを含んでも良く、そのうち、これらの部品の機能が従来技術と同様であるため、ここでは、その詳しい説明を省略する。なお、画像処理装置1000は、図10中の全ての部品を含む必要がない。また、画像処理装置1000は、さらに、図10に無い部品を含んでも良く、これについては、従来技術を参照することができる。
本発明の実施例は、コンピュータ可読プログラムを提供し、そのうち、遺留物誤検出の認識装置又は画像処理装置中で前記プログラムを実行するときに、前記プログラムは、前記遺留物誤検出の認識装置又は画像処理装置に、実施例1に記載の方法を実行させる。
本発明の実施例は、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、遺留物誤検出の認識装置又は画像処理装置に、実施例1に記載の方法を実行させる。
本発明の実施例で説明した前記方法、装置などは、ハードウェア、処理器により実行されるソフトウェアモジュール、又は両者の組み合わせにより実現することができる。例えば、図8に示す機能ブロック図における１つ又は複数の機能及びび／又は機能ブロック図における１つ又は複数の機能の組み合わせは、コンピュータプログラムにおける各ソフトウェアモジュールに対応しても良く、各ハードウェアモジュールに対応しても良い。また、これらのソフトウェアモジュールは、それぞれ、図1に示す各ステップに対応することができる。これらのハードウェアモジュールは、例えば、FPGA（field-programmable gate array）を用いてこれらのソフトウェアモジュールを固化して実現することができる。
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びびソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims (9)

  1. 遺留物の誤検出を認識する装置であって、
    現在のフレームの画像に対して前景検出を行い、現在のフレームの画像の前景画像を取得する前景検出ユニットであって、前記前景画像には遺留前景画像が含まれる前景検出ユニット；
    前記遺留前景画像中の輪郭をクラスタリングしてグループを形成し、遺留物の候補領域とするクラスタリングユニット；及び
    前記遺留物の候補領域と参照背景画像との比較を行い、前記遺留物の候補領域が前記参照背景画像とマッチしたかを判断し、マッチした場合、遺留物の検出が誤検出であると確定する判断ユニットを含み、
    前記装置は、
    誤検出の情報を前景検出モジュールにフィードバックし、また、背景モデルを調整するフィードバックユニットをさらに含む、装置。
  2. 請求項1に記載の装置であって、
    前記現在のフレームの画像がビデオ監視画像である、装置。
  3. 請求項1に記載の装置であって、
    前記前景画像の占用率に基づいて前記参照背景画像を更新する更新ユニットをさらに含み、
    前記前景画像の占用率とは、前記前景画像が前記現在のフレームの画像の関心領域に占める比率を指す、装置。
  4. 請求項3に記載の装置であって、
    前記更新ユニットは、前記前景画像の占用率が所定の第一閾値よりも小さい場合、現在のフレームの画像に遺留物が存在しないと判断し、現在のフレームの画像を参照背景画像とし、
    前記更新ユニットは、前記前景画像の占用率が前記所定の第一閾値以上である場合、現在のフレームの画像に遺留物が存在すると判断し、参照背景画像の更新を行わない、装置。
  5. 請求項3に記載の装置であって、
    前記更新ユニットは、
    Figure 0007392488000010
     を用いて、前記前景画像の占用率を計算し、
    ここで、Nyは、第y行の前景画素の画素数であり、
    Figure 0007392488000011
     であり、Lyは、第y行の関心領域の画素数であり、
    Figure 0007392488000012
     であり、Iyは、第y行の画素であり、fgmaskは、前景マスクであり、roimaskは、関心領域マスクである、装置。
  6. 請求項1に記載の装置であって、
    前記判断ユニットは、
    前記参照背景画像中の、前記遺留物の候補領域に対応するマッチ範囲を確定する確定ユニット；
    前記遺留物の候補領域と前記マッチ範囲とのマッチ度を計算する計算ユニット；及び
    前記マッチ度が所定の第二閾値よりも大きい場合、前記遺留物の候補領域が前記マッチ範囲とマッチしており、前記遺留物の検出が誤検出であると判断し、そうでない場合、前記遺留物の検出が正確な検出であると判断する決定ユニットを含む、装置。
  7. 請求項6に記載の装置であって、
    前記マッチ範囲のサイズが前記遺留物の候補領域のサイズよりも大きい、装置。
  8. 請求項1～7のうちの任意の1項に記載の装置を含む画像処理装置。
  9. 遺留物の誤検出を認識する方法であって、
    現在のフレームの画像に対して前景検出を行い、現在のフレームの画像の前景画像を取得し、前記前景画像には遺留前景画像が含まれ；
    前記遺留前景画像中の輪郭をクラスタリングしてグループを形成し、遺留物の候補領域とし；及び
    前記遺留物の候補領域と参照背景画像との比較を行い、前記遺留物の候補領域が前記参照背景画像とマッチしたかを判断し、マッチした場合、前記遺留物の検出が誤検出であると判定することを含み、
    前記方法は、
    誤検出の情報を前景検出モジュールにフィードバックし、また、背景モデルを調整することをさらに含む、方法。
JP2020006672A 2019-04-18 2020-01-20 遺留物誤検出の認識方法、装置及び画像処理装置 Active JP7392488B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910311887.9 2019-04-18
CN201910311887.9A CN111832349A (zh) 2019-04-18 2019-04-18 遗留物错误检测的识别方法、装置及图像处理设备

Publications (2)

Publication Number Publication Date
JP2020177648A JP2020177648A (ja) 2020-10-29
JP7392488B2 true JP7392488B2 (ja) 2023-12-06

Family

ID=69187646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020006672A Active JP7392488B2 (ja) 2019-04-18 2020-01-20 遺留物誤検出の認識方法、装置及び画像処理装置

Country Status (4)

Country Link
US (1) US11250269B2 (ja)
EP (1) EP3726421A3 (ja)
JP (1) JP7392488B2 (ja)
CN (1) CN111832349A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11978247B2 (en) * 2020-11-12 2024-05-07 Objectvideo Labs, Llc Adversarial masks for scene-customized false detection removal
CN113821042B (zh) * 2021-11-23 2022-02-22 南京冈尔信息技术有限公司 一种基于机器视觉的货物运送障碍识别系统及方法
KR102604527B1 (ko) * 2023-06-30 2023-11-22 주식회사 티오씨 드론 방제시스템의 유류유출 모니터링 및 방제방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346156A (ja) 2002-05-23 2003-12-05 Nippon Telegr & Teleph Corp <Ntt> 物体検出装置、物体検出方法、プログラムおよび記録媒体
JP2011039584A (ja) 2009-08-06 2011-02-24 Secom Co Ltd 不審物検知装置
JP2011258214A (ja) 2011-07-07 2011-12-22 Mega Chips Corp 物体検出装置
JP2012130518A (ja) 2010-12-21 2012-07-12 Hitachi Medical Corp 画像処理装置、画像処理プログラム、及びｘ線画像診断装置
JP2013030129A (ja) 2011-07-29 2013-02-07 Sumitomo Electric Ind Ltd 移動体検出装置、移動体検出システム、コンピュータプログラム及び移動体検出方法
JP2017033559A (ja) 2015-07-31 2017-02-09 富士通株式会社 放置物の検出装置、方法及びシステム
JP2017076399A (ja) 2015-10-14 2017-04-20 富士通株式会社 交通状態の検出方法、装置及び電子機器
WO2018056355A1 (ja) 2016-09-23 2018-03-29 株式会社日立国際電気 監視装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201001338A (en) * 2008-06-16 2010-01-01 Huper Lab Co Ltd Method of detecting moving objects
JP5277805B2 (ja) * 2008-09-05 2013-08-28 富士通株式会社 物体抽出装置、物体抽出方法および物体抽出プログラム
CN102411703A (zh) * 2010-09-21 2012-04-11 索尼公司 检测图像序列中的特定对象的装置、方法和视频摄像设备
US8675917B2 (en) * 2011-10-31 2014-03-18 International Business Machines Corporation Abandoned object recognition using pedestrian detection
CN102902960B (zh) 2012-09-25 2015-04-22 武汉烽火众智数字技术有限责任公司 基于高斯建模与目标轮廓的遗留物检测方法
US9237316B2 (en) 2013-03-04 2016-01-12 Sensormatic Electronics, LLC Method and system to characterize video background changes as abandoned or removed objects
CN104881643B (zh) 2015-05-22 2018-06-12 深圳市赛为智能股份有限公司 一种快速的遗留物检测方法及系统
CN105488542B (zh) 2015-12-24 2019-04-23 福建星网物联信息系统有限公司 一种前景物体检测方法和设备
CN106204640A (zh) 2016-06-29 2016-12-07 长沙慧联智能科技有限公司 一种运动目标检测系统及方法
WO2018068312A1 (zh) * 2016-10-14 2018-04-19 富士通株式会社 交通异常事件检测装置及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346156A (ja) 2002-05-23 2003-12-05 Nippon Telegr & Teleph Corp <Ntt> 物体検出装置、物体検出方法、プログラムおよび記録媒体
JP2011039584A (ja) 2009-08-06 2011-02-24 Secom Co Ltd 不審物検知装置
JP2012130518A (ja) 2010-12-21 2012-07-12 Hitachi Medical Corp 画像処理装置、画像処理プログラム、及びｘ線画像診断装置
JP2011258214A (ja) 2011-07-07 2011-12-22 Mega Chips Corp 物体検出装置
JP2013030129A (ja) 2011-07-29 2013-02-07 Sumitomo Electric Ind Ltd 移動体検出装置、移動体検出システム、コンピュータプログラム及び移動体検出方法
JP2017033559A (ja) 2015-07-31 2017-02-09 富士通株式会社 放置物の検出装置、方法及びシステム
JP2017076399A (ja) 2015-10-14 2017-04-20 富士通株式会社 交通状態の検出方法、装置及び電子機器
WO2018056355A1 (ja) 2016-09-23 2018-03-29 株式会社日立国際電気 監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
天本直弘他，画像処理技術による障害物検出と移動物体追跡方法，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，1998年04月25日，第J81-A巻 第4号，pp.527-535

Also Published As

Publication number Publication date
US11250269B2 (en) 2022-02-15
EP3726421A2 (en) 2020-10-21
CN111832349A (zh) 2020-10-27
JP2020177648A (ja) 2020-10-29
EP3726421A3 (en) 2020-10-28
US20200334471A1 (en) 2020-10-22

Similar Documents

Publication Publication Date Title
US10552705B2 (en) Character segmentation method, apparatus and electronic device
JP7392488B2 (ja) 遺留物誤検出の認識方法、装置及び画像処理装置
Kuang et al. Nighttime vehicle detection based on bio-inspired image enhancement and weighted score-level feature fusion
US10025998B1 (en) Object detection using candidate object alignment
US7929728B2 (en) Method and apparatus for tracking a movable object
US9947077B2 (en) Video object tracking in traffic monitoring
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
CN106778712B (zh) 一种多目标检测与跟踪方法
Lebeda et al. Long-term tracking through failure cases
US8135172B2 (en) Image processing apparatus and method thereof
US9715639B2 (en) Method and apparatus for detecting targets
JP2015041164A (ja) 画像処理装置、画像処理方法およびプログラム
CN106599918B (zh) 车辆追踪方法及系统
JP6110174B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
Lecca et al. Comprehensive evaluation of image enhancement for unsupervised image description and matching
Asgarian Dehkordi et al. Vehicle type recognition based on dimension estimation and bag of word classification
US11238309B2 (en) Selecting keypoints in images using descriptor scores
US10580127B2 (en) Model generation apparatus, evaluation apparatus, model generation method, evaluation method, and storage medium
Fomin et al. Study of using deep learning nets for mark detection in space docking control images
WO2009096208A1 (ja) 物体認識システム，物体認識方法および物体認識用プログラム
Rumaksari et al. Background subtraction using spatial mixture of Gaussian model with dynamic shadow filtering
US20240127567A1 (en) Detection-frame position-accuracy improving system and detection-frame position correction method
JP6893751B2 (ja) 画像検出装置、画像検出方法及び画像検出用プログラム
CN113762027A (zh) 一种异常行为的识别方法、装置、设备及存储介质
Fan et al. Double-threshold image segmentation method based on gray gradient

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231106

R150 Certificate of patent or registration of utility model

Ref document number: 7392488

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150