JP6835215B2 - 画像処理方法及び装置 - Google Patents

画像処理方法及び装置 Download PDF

Info

Publication number
JP6835215B2
JP6835215B2 JP2019518041A JP2019518041A JP6835215B2 JP 6835215 B2 JP6835215 B2 JP 6835215B2 JP 2019518041 A JP2019518041 A JP 2019518041A JP 2019518041 A JP2019518041 A JP 2019518041A JP 6835215 B2 JP6835215 B2 JP 6835215B2
Authority
JP
Japan
Prior art keywords
pixel
input image
image
sensitivity
background model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019518041A
Other languages
English (en)
Other versions
JP2019531552A (ja
Inventor
ジャン・ナヌ
ワン・チィ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2019531552A publication Critical patent/JP2019531552A/ja
Application granted granted Critical
Publication of JP6835215B2 publication Critical patent/JP6835215B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region

Description

本発明は、画像処理技術分野に関し、特に、画像処理方法及び装置に関する。
ビデオ監視分野では、大部分のインテリジェント画像分析システムが特定のシーンに依存し、即ち、特定のシーンの場合にのみ、パフォーマンスのニーズを満たし得る。しかし、実際応用時に、シーンは、複雑多様なものであり、特に屋外のシーンの場合である。また、画像中の背景モデルが多くの要因の影響、例えば、ノイズ、背景干渉、照明変化などを受けやすいので、タイムリー且つ正確な背景モデルの構築は、困難である。近年、背景モデルの構築及び前景画像の検出は、国内外でビデオ監視分野における研究の難点及び注目の話題の１つになっている。
今のところ、幾つかのよく用いられる画素レベルの前景画像検出方法、例えば、フレーム差分法（Frame differencing）、混合ガウスモデル（Mixture of Gaussian Model）、単一ガウスモデル（single Gaussian Model）、コードブック（CodeBook）アルゴリズムなどがある。
フレーム差分法を採用して検出を行うときに、画像シーケンスの隣接する２つのフレームの間において画素に基づく時間差分を用いて、閾値よりも大きいかを判断することで背景と前景を区別することができるが、そのアルゴリズムは、実現が簡単であり、照明変化に敏感でないが、複雑なシーンを処理することができない。
単一ガウスモデル及び混合ガウスモデルを採用して検出を行うときに、画像中の各画素点のためにそれ相応のガウス分布モデルを構築し、モデルにより得られた値が閾値よりも大きいかを判断することで背景と前景を区別することができるが、単一ガウスモデルは、シーンにノイズの干渉があるときに、抽出の正確度が比較的低く、また、混合ガウスモデルの場合は、計算量が比較的大きく、且つ照明変化に敏感である。
CodeBookアルゴリズムを採用して検出を行うときに、現在の画像中の各画素のために１つのCodeBook構造を生成し、各CodeBook構造は、複数のコードワード（CodeWord）からなり、画像中の各画素について、対応する背景モデルCodeBook中の各CodeWordをチェックし、画素に所定の条件を満足させることができるCodeWordが存在するかに基づいて背景と前景を区別することができるが、このようなアルゴリズムは、大量のメモリを消費することがある。
なお、上述の背景技術についての紹介は、本発明の技術案を明確且つ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術の一部に記述されているため、当業者にとって周知であると解釈すべきではない。
上述の既存の検出方法は、全て、画素間の関係を無視し、単一画素の分析によるものである。今のところ、よく用いられる背景モデルの構築及び前景画像の抽出方法は、さらにビジュアル背景抽出（Visual background extractor，VIBE）アルゴリズムを含み、それは、単一フレーム画像を用いて背景モデルを初期化し、１つの画素点について、隣接する画素の有する近い画素値空間分布特性を利用することで、その隣接領域の画素点の画素値を背景モデルサンプル値としてランダムに選択し、また、該アルゴリズムと、他の既存のアルゴリズムとの主な相違点は、背景モデルの更新ポリシーにあり、即ち、取り替えられる必要のある画素のサンプルをランダムに選択し、隣接領域の画素をランダムに選択して背景モデルの更新を行うことにあり、該アルゴリズムは、計算速度が速く、計算量が小さく、且つノイズに対してある程度のロバスト性があるが、リアルタイムシーンに、例えば、雨降り、濃霧又は曇りなどのシーンの変化が生じた場合、画像が不鮮明になり、このときに、完全な前景画像を抽出することができない。
本発明の実施例は、画像処理方法及び装置を提供し、VIBEアルゴリズム中の背景モデルのために感度を定義し、そして、画像の鮮明さ（sharpness）に基づいて該感度を調整することで、前景検出の正確度を向上させ、画像が不鮮明によることが原因で完全な前景画像を抽出できない問題を避けることができる。
本発明の実施例の上述の目的は、以下のような技術案により実現される。
本発明の実施例の第一側面によれば、画像処理装置が提供され、該装置は、
入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算する第一計算ユニットであって、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係がある第一計算ユニットと、
該入力画像中の各画素に対して処理を行い、該入力画像の前景画像を検出する第一処理ユニットであって、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を該入力画像中の背景画素と確定し、そうでない場合、前景画素と確定することを含む第一処理ユニット、
或いは、該入力画像中の各画素に対して処理を行い、該背景モデルを更新する第一処理ユニットであって、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を１つのサンプル点に取り替えて該背景モデルを更新する第一処理ユニットと、を含み、
そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
本発明の実施例の第二側面によれば、画像処理方法が提供され、該方法は、
入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり；及び
該入力画像中の各画素に対して処理を行い、該入力画像の前景画像を検出し、そのうち、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を該入力画像中の背景画素と確定し、そうでない場合、前景画素と確定することを含み、
或いは、該入力画像中の各画素に対して処理を行い、該背景モデルを更新し、そのうち、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を１つのサンプル点に取り替えて該背景モデルを更新することを含むこと、を含み
そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
本発明の実施例の有益な効果は、本実施例の画像処理方法及び装置により、VIBEアルゴリズム中の背景モデルのために感度を定義し、そして、画像の鮮明さに基づいて該感度を調整し、これにより、前景検出の正確度を向上させ、画像が不鮮明によることが原因で完全な前景画像を抽出できない問題を避けることができる。
後述の説明及び図面を参照することで、本発明の特定の実施形態を詳しく開示し、本発明の原理を採用し得る態様を示す。なお、本発明の実施形態は、範囲上ではこれらによって限定されない。添付した特許請求の範囲内であれば、本発明の実施形態は、様々な変更、修正及び代替によるものを含んでも良い。
また、１つの実施方式について説明した及び／又は示した特徴は、同じ又は類似した方式で１つ又は複数の他の実施形態に用い、他の実施形態中の特徴と組み合わせ、又は、他の実施形態中の特徴を置換することもできる。
なお、「含む／有する」のような用語は、本明細書に使用されるときに、特徴、要素、ステップ、又はアセンブルの存在を指すが、１つ又は複数の他の特徴、要素、ステップ、又はアセンブリの存在又は付加を排除しないということも指す。
本発明の１つの図面又は１つの実施形態に記載の要素及び特徴は、１つ又は複数の他の図面又は実施形態に示した要素及び特徴と組み合わせることができる。また、図面では、類似した符号は、幾つの図面中の対応する部品を示し、複数の実施形態に用いる対応部品を示すためにも用いられる。
本実施例1における画像処理方法のフローチャートである。 本実施例2における画像処理方法のフローチャートである。 本実施例3における画像処理方法のフローチャートである。 本実施例3において用いられる画像を示す図である。 本実施例3において用いられる画像を示す図である。 本実施例3において用いられる画像を示す図である。 本実施例3において用いられる画像を示す図である。 本実施例3において検出された前景画像を示す図である。 本実施例3において検出された前景画像を示す図である。 本実施例3において検出された前景画像を示す図である。 本実施例2におけるステップ305の処理のフローチャートである。 本実施例3における画像処理方法のフローチャートである。 本実施例3におけるステップ705の処理のフローチャートである。 本実施例4における画像処理装置の構成図である。 本実施例4における画像処理装置の構成図である。 本実施例4における画像処理装置のハードウェア構成図である。 本実施例4における画像処理装置の構成図である。 本実施例4における画像処理装置のハードウェア構成図である。
添付した図面及び以下の説明を参照することにより、本発明の前述及び他の特徴が明らかになる。なお、明細書及び図面では、本発明の特定の実施形態を開示しているが、それは、本発明の原理を採用し得る一部のみの実施形態を示し、理解すべきは、本発明は、記載されている実施形態に限定されず、即ち、本発明は、添付した特許請求の範囲内での全ての変更、変形及び代替によるものも含むということである。
以下、図面に基づいて本発明の実施例について説明する。
本実施例1は、画像処理方法を提供し、図1は、該画像処理方法のフローチャートであり、図1に示すように、該方法は、以下のステップを含む。
ステップ101：入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり；
ステップ102：該入力画像中の各画素に対して処理を行い、該入力画像の前景画像を検出し、そのうち、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を該入力画像中の背景画素と確定し、そうでない場合、前景画素と確定することを含み、そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
本実施例では、画像中の静止の又は移動が非常に遅い物体の画素により背景画像を構成し、移動の物体の画素により前景画像を構成する。前景画像の検出は、１つの分類問題に相当し、つまり、画像中の各画素が背景画素かそれとも前景画素に属するかを確定することである。本実施例のVIBEモデルでは、背景モデルは、各画素に対応する背景サンプル集を含み、そのうち、単一フレーム画像を用いて背景モデルを初期化することができる。具体的には、１つの画素について、隣接する画素の有する近い画素値空間分布特性を利用することで、その隣接領域における画素点の画素値を背景サンプル集としてランダムに選択し、その後、各画素値と、その対応する背景サンプル集との比較を行うことで、それが背景画素に属するかを判断する。該背景サンプル集のうちのサンプル点の数は、所定数量（N）である。例えば、v(x)が画素xの画素値を表し；M(x)={V1，V2，…，VN}が画素xに対応する背景サンプル集であり；SR(v(x))が、xを中心とし、且つ第一閾値Rを半径とする領域を表すとすれば、#[{SR(v(x))∩{V1，V2，…，VN}}]が第一所定数量#min以上であれば、画素xは、背景画素に属する。
従来技術では、第一閾値Rは、通常、デフォルト値20を取る。よって、画像が不鮮明になるときに、該第一閾値Rが不変に保たれると、完全な前景画像を抽出できないことを来すことがある。
本実施例では、上述のステップ101〜102により、VIBEアルゴリズム中の背景モデルのために感度を定義し、画像の鮮明さに基づいて該感度を調整し、そして、感度の値に基づいて背景モデル中の第一閾値Rを調整し、これにより、前景検出の正確度を向上させ、画像が不鮮明によることが原因で完全な前景画像を抽出できない問題を避けることができる。
ステップ101では、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり、即ち、入力画像の検出領域の鮮明さが高いほど、感度が低く、逆に、入力画像の検出領域の鮮明さが低いほど、感度が高い。そのうち、鮮明さが第五閾値dよりも大きいときに、画像がとても鮮明であることを表し、このときに、感度を最も低い設定値に設定しても良く、鮮明さが第六閾値cよりも小さいときに、画像がとても鮮明であることを表し、このときに、感度を最も高い設定値に設定しても良く、鮮明さが第一所定範囲（[c，d]）内にあるときに、該感度は、該鮮明さと負の相関関係がある。
例えば、0〜100(%)を用いて感度の数値範囲を表し、数値の大小により感度の高低を示すことができ、例えば、0は、感度が低いことを表し、100(%)は、感度が高いことを表す。
該感度と該鮮明さと負の相関関係は、
Figure 0006835215
である。そのうち、Cは、該鮮明さを表し、Sは、該感度を示し、該第一所定範囲は、[c、d]である。なお、該感度と該鮮明さとの負の相関関係は、他の負の相関関数であっても良く、本実施例は、これに限定されない。
ステップ102では、該入力画像中の各画素に対して処理を行い、各画素が前景画素かそれとも背景画素に属するかを確定し、そして、前景画素に属すると確定した画素からなる画像を前景画像と確定する。背景モデル中の該第一閾値は、該感度に応じて確定されても良く、該感度は、該第一閾値と負の相関関係があり、即ち、感度が高いほど、第一閾値が小さく、感度が低いほど、第一閾値が大きい。よって、入力画像が不鮮明であればあるほど、第一閾値が小さく、逆に、入力画像が鮮明であればあるほど、第一閾値が大きい。
ステップ102では、該感度は、該第一閾値と負の線形相関関係があり、例えば、0〜100(%)を用いて感度の数値範囲を表すと、第一閾値及び感度の負の線形相関関係は、
Figure 0006835215
である。そのうち、Rは、該第一閾値を示し、Sは、該感度を表し、該第一閾値の数値範囲は、[a、b]であ。例えば、第一閾値Rの数値範囲が[5，35]の場合、第一閾値Rと感度Sとの負の線形相関関係は、
Figure 0006835215
である。なお、ここで、R及びSの数値範囲を例示的に説明したが、本実施例は、これに限定されない。
本実施例では、該方法は、さらに、以下のステップを含んでも良い。
ステップ100（オプション）：該入力画像の検出領域の鮮明さを計算する。
そのうち、検出領域中の画素の勾配の大きさ（gradient magnitude）の平均値を以て該鮮明さを表すことができる。例えば、該入力画像の検出領域中の各画素の勾配の大きさの和と、該入力画像の検出領域中の画素数との比を計算し、該比を該鮮明さとすることができる。
例えば、ステップ100では、以下の式（1）により鮮明さを計算することができる。
Figure 0006835215
そのうち、wは、該入力画像の検出領域の幅を示し、hは、該入力画像の検出領域の高さを表し、pixel_numは、該入力画像の検出領域中の画素点の個数を示し、Iは、画素値であり、i及びjは、画素点の横縦座標を示す。上述の方法で鮮明さを計算するときに、鮮明さが25よりも大きい場合、画像がとても鮮明であることを表し、鮮明さが5よりも小さい場合、画像がとても不鮮明であることを表す。このときに、次のような方法で鮮明さに基づいて感度を確定することができ、即ち、0〜100(%)を以て感度の数値範囲を表すと、鮮明さが25よりも大きいときに、該感度を0に設定し、鮮明さが5よりも小さいときに、該感度を100に設定し、鮮明さが[5、25]範囲内にあるときに、該感度と該鮮明さとは、負の線形相関関係、即ち、S＝-5C+125を有する。なお、これは、例示に過ぎず、本実施例は、これに限定されない。
本実施例では、冗長な計算量を避けるために、ステップ100において該入力画像中の関心領域（Region of Interest、ROI）を選択し、該関心領域を該検出領域とすることができる。例えば、ROIはバイナリで示され、そのうち、ROI中の画素の画素値は、1であり、他の画素の画素値は、0である。なお、これは、例示に過ぎず、本実施例は、これに限定されない。例えば、ROIは、車道領域などを選択しても良く、該ROIは、予め選択されたものであっても良く、入力画像に対して処理を行う度に選択されても良いが、本実施例は、これについて限定しない。
本実施例では、シーンの変化は、通常、突然生じることがなく、即ち、隣接する画像フレームの鮮明さが近いため、冗長な計算量を避けるために、所定時間おきに画像の鮮明さを再計算し、そして、更新後の鮮明さに応じて背景モデルの感度を更新することができる。よって、本実施例では、該方法は、さらに、以下のこと（図示せず）を含んでも良い。
少なくとも１つのフレーム（画像）シーケンスのうちから該入力画像を選択し、そのうち、第二所定数量のフレームおきに１つのフレーム画像を該入力画像として選択する。
本実施例では、照明の変化、背景画像の変化などが原因で、該方法は、さらに、該背景モデルを更新すること（図示せず）を含んでも良い。
本実施例では、該背景モデルの更新は、背景モデル中の背景サンプル集のうちのサンプル点の更新、及び／又は、上述のステップ101で得られた背景モデルの感度に基づく該第一閾値の更新などを含む。
そのうち、背景モデル中の背景サンプル集のうちのサンプル点の更新は、従来技術中のVIBEアルゴリズムの背景モデル更新ポリシーを採用しても良く、例えば、記憶無し更新ポリシー、時間サンプリング更新ポリシー、空間隣接領域更新ポリシーなどである。そのうち、ステップ102では、該１つの画素が背景画素であると確定したときに、該画素をランダムにその対応する背景サンプル集のうちの１つのサンプル点に取り替えることで、該背景モデルを更新することができる。なお、本実施例は、これに限定されず、例えば、従来技術を用いて、画像シーケンス中の、入力画像として選択されたもの以外の他の画像に対して処理を行うことで背景モデルを更新しても良い。具体的には、従来技術を参照することができる。
よって、該入力画像を処理した後に、該背景モデルを更新し、次の１つのフレームの処理待ちの画像について、更新後の背景モデルにより前景画像を抽出することができる。
本実施例では、該入力画像は、従来の方法で得ることができる。例えば、該入力画像は、監視ビデオ中の現在のフレームであっても良い。該監視ビデオは、監視を行う必要のある領域の上方に設けられるカメラにより取得することができる。
上述の実施例により、VIBEアルゴリズム中の背景モデルのために感度を定義し、そして、画像の鮮明さに基づいて該感度を調整し、これにより、前景検出の正確度を向上させ、画像が不鮮明によることが原因で完全な前景画像を抽出できない問題を避けることができる。
本実施例2は、画像処理方法を提供し、該方法と実施例1との相違点は、本実施例では、該入力画像中の各画素に対して処理を行い、該背景モデルを更新することにある。なお、実施例1の内容と同じである重複説明は、省略される。図2は、該画像処理方法フローチャートであり、図2に示すように、該方法は、以下のステップを含む。
ステップ201：入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり；
ステップ202：該入力画像中の各画素に対して処理を行い、該背景モデルを更新し、そのうち、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を１つのサンプル点に取り替えて該背景モデルを更新することを含み、そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
本実施例では、ステップ201の具体的な実施方式は、実施例1中のステップ101を参照することができ、ここでは、その詳しい説明を省略する。
本実施例では、ステップ202中の第一閾値の確定方式は、実施例1を参照することができ、ここでは、その詳しい説明を省略する。
本実施例では、該方法は、さらに、以下のステップを含んでも良い。
ステップ200（オプション）：入力画像の検出領域の鮮明さを計算する。なお、その実施方式は、実施例1におけるステップ100と同じであり、ここでは、その詳細な説明を省略する。
以下、ステップ202中の実施例1と相違点について説明する。
ステップ202では、該入力画像中の各画素に対して処理を行い、該背景モデルを更新し、各画素値と、その対応する背景サンプル集との比較を行うことで、それが背景画素に属するかを判断する。該背景サンプル集の中のサンプル点の数は、所定数量Nである。例えば、v(x)が画素xの画素値を示し；M(x)={V1，V2，…，VN}が画素xの対応する背景サンプル集であり；SR(v(x))が、xを中心とし、第一閾値Rを半径とする領域を表すとすると、#[{SR(v(x))∩{ V1，V2，…，VN }}]が第一所定数量#min以上であれば、画素xを１つのサンプル点に取り替えて該背景モデルを更新し、そのうち、該画素xをランダムにその対応する背景サンプル集のうちの１つのサンプル点に取り替えることで、該背景モデルを更新し、また、該第一閾値を更新することができる。
本実施例では、該方法は、さらに、以下のステップを含んでも良い。
ステップ203：更新後の背景モデルに基づいて該入力画像から前景画像を抽出する。
そのうち、従来技術を用いて該ステップ203を実現することができるが、本実施例は、これに限定されない。
本実施例では、シーンの変化は、通常、突然起こることがなく、即ち、隣接する画像フレームの鮮明さが近いため、冗長な計算量を避けるために、所定時間おきに画像の鮮明さを再計算し、そして、更新後の鮮明さに基づいて背景モデルの感度を更新することができる。よって、本実施例では、該方法は、さらに、下記のこと（図示せず）を含んでも良い。
少なくとも１つのフレーム（画像）シーケンスのうちから該入力画像を選択し、そのうち、第二所定数量のフレームおきに１つのフレーム画像を該入力画像として選択する。
そのうち、次の１つのフレームの処理待ちの画像について、ステップ202で更新された背景モデルを用いて、再び背景モデルを更新し、そして、再び更新された背景モデルに基づいて、次の１つのフレームの処理待ちの画像中の前景画像を抽出する。
上述の実施例により、VIBEアルゴリズム中の背景モデルのために感度を定義し、そして、画像の鮮明さに基づいて該感度を調整し、これにより、前景検出の正確度を向上させ、画像が不鮮明によることが原因で完全な前景画像を抽出できない問題を避けることができる。
本実施例3は、画像処理方法を提供し、図3は、該画像処理方法のフローチャートである。監視ビデオ（画像シーケンス）について、図3に示すように、該方法は、以下のステップを含む。
ステップ301：現在の画像を確定し；
そのうち、現在の画像は、該画像シーケンス中の第i個目のフレームである。
ステップ302：検出領域を確定し；
そのうち、現在の画像の全ての画素からなる領域を検出領域としても良く、ユーザ設定の関心領域（Region of Interest、ROI）を該検出領域としても良い。
ステップ302では、さらに該関心領域を変える必要があるかを確定することができ、必要な場合、再び関心領域を確定して検出領域とし、そして、ステップ303を行い、そうでない場合、ステップ303を直接行う。
ステップ303：該検出領域の鮮明さを計算し；
そのうち、該鮮明さの具体的な計算方法は、ステップ100を参照することができ、ここでは、その詳細な説明を省略する。
図4A〜4Dは、異なる鮮明さの画像を示す図である。図4A〜4Dに示すように、実施例1中の式（1）で算出された図4A、4B、4C、4Dの鮮明さは、それぞれ、20.036、20.857、8.06、12.895であり、即ち、鮮明さの値が高いほど、画像が鮮明であり、逆に、鮮明さの値が小さいほど、画像が不鮮明である。図4C及び図4Dは、天気及び照明の影響を受けているから、鮮明さが比較的低い。
ステップ304：該鮮明さに基づいて背景モデルの感度を計算し；
その具体的な計算方法は、ステップ101を参照することができ、ここでは、その詳細な説明を省略する。
ステップ305：該入力画像中の各画素に対して処理を行い、該入力画像中の前景画像を検出し；
該ステップ305の具体的な実施方式は、図6を参照することでき、ここでは、その説明を割愛する。
図5A〜5Cは、異なる感度に応じて検出された前景画像を示す図である。図5A〜5Cに示すように、図5Aは、入力画像であり、図5Bは、従来技術R=20（感度が50(%)であることに相当する）を採用した場合の前景画像の検出結果であり、図5Cは、鮮明さに基づいて感度を調整した後（例えば、感度が80(%)であり、R=11である）の場合の前景画像の検出結果である。よって、明らかのように、本実施例中の方法で抽出された前景画像の正確度は、より高い。
ステップ306：該背景モデルを更新する。
その具体的な更新方法は、実施例1を参照することができ、ここでは、その詳細な説明を省略する。
ステップ307：画像シーケンスが第二所定数量j個のフレームの画像を経過したかを判断し、「はい」の場合、ステップ301に戻り、i=i+jとし、「いいえ」の場合、ステップ306に戻り、画像シーケンス中の、該入力画像として選択されたもの以外の画像について従来技術を用いて背景モデルを更新し、また、画像シーケンスが終了したかを判断し、「はい」の場合、操作が終了する。
図6は、ステップ305の方法のフローチャートである。図6に示すように、該方法は、以下のステップを含む。
ステップ601：入力画像の検出領域から１つの画素を選択し；
そのうち、画素の左から右へ、上から下への順序で該１つの画素を選択しても良い。
例えば、検出領域の高及び幅がそれぞれH及びWであり、即ち、計H×W個の画素があり、mを画素の索引として設定する場合、mが0のときに、左上隅に位置する画素を表し、m=H×Wのときに、右下隅に位置する画素を表す。
ステップ602：該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を該入力画像中の背景画素と確定し、そうでない場合、前景画素と確定し、そして、各画素が前景画素かそれとも背景画素に属するかを確定し、前景画素に属すると確定した画素からなる画像を前景画像と確定する。そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
該ステップ602の具体的な実施方式は、ステップ102を参照することができ、ここでは、その詳しい説明を省略する。
ステップ603：検出領域内の全ての画素点に対してステップ602を行ったかを判断し、判断結果が「はい」のときに、処理が終了し、「いいえ」の場合、ステップ601に戻り、且つm=m+1とする。
図7は、該画像処理方法フのローチャートであり、監視ビデオ（画像シーケンス）について、図7に示すように、該方法は、以下のステップを含む。
ステップ701：現在の画像を確定し；
ステップ702：検出領域を確定し；
ステップ703：該検出領域の鮮明さを計算し；
ステップ704：該鮮明さに基づいて背景モデルの感度を計算し；
そのうち、ステップ701〜704の具体的な実施方式は、ステップ601〜604と同じであり、ここでは、その詳細な説明を省略する。
ステップ705：入力画像中の各画素に対して処理を行い、該背景モデルを更新し；
ステップ706：更新後の背景モデルに基づいて該入力画像から前景画像を抽出し；
その具体的な抽出方法は、実施例2を参照することができ、ここでは、その説明を割愛する。
ステップ707：画像シーケンスが第二所定数量j個のフレームの画像を経過したかを判断し、「はい」の場合、ステップ701に戻り、且つi=i+jとし、「いいえ」（図示せず）の場合、画像シーケンス中の、該入力画像として選択されたもの以外の画像について、従来技術を用いて背景モデルを更新し、また、画像シーケンスが終了したかを判断し、「はい」の場合、処理が終了する。
図8は、ステップ706の方法のフローチャートであり、図8に示すように、該方法は、下記のステップを含む。
ステップ801：入力画像の検出領域から１つの画素を選択し；
そのうち、画素の左から右へ、上から下への順序で該１つの画素を選択しても良い。
例えば、検出領域の高及び幅がそれぞれH及びWであり、即ち、計H×W個の画素があり、mを画素の索引として設定する場合、mが0のときに、左上隅に位置する画素を表し、m=H×Wのときに、右下隅に位置する画素を表す。
ステップ802：該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を１つのサンプル点に取り替えて該背景モデルを更新する。
該ステップ802の具体的な実施方式は、ステップ202を参照することができ、ここでは、その詳しい説明を省略する。
ステップ803：検出領域内の全ての画素点に対してステップ802を行ったかを判断し、判断結果が「はい」の場合、処理が終了し、「いいえ」の場合、ステップ801に戻り、且つm=m+1とする。
上述の実施例により、VIBEアルゴリズム中の背景モデルのために感度を定義し、そして、画像の鮮明さに基づいて該感度を調整し、これにより、前景検出の正確度を向上させ、画像が不鮮明によることが原因で完全な前景画像を抽出できない問題を避けることができる。
本実施例4は、さらに、画像処理装置を提供し、該装置が問題を解決する原理が実施例1〜3中の方法に類似しているので、その具体的な実施は、実施例1〜3中の方法の実施を参照することができ、内容が同じである重複説明は、省略される。
図9は、本実施例4中の画像処理装置の構成図であり、図9に示すように、画像処理装置900は、以下のものを含む。
第一計算ユニット901：入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり；
第一処理ユニット902：該入力画像中の各画素に対して処理を行い、該入力画像の前景画像を検出し、そのうち、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を該入力画像中の背景画素と確定し、そうでない場合、前景画素と確定し；或いは、該入力画像中の各画素に対して処理を行い、該背景モデルを更新し、そのうち、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を１つのサンプル点に取り替えて該背景モデルを更新し、そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
上述の実施例により、VIBEアルゴリズム中の背景モデルのために感度を定義し、そして、画像の鮮明さに基づいて該感度を調整し、これにより、前景検出の正確度を向上させ、画像が不鮮明によることが原因で完全な前景画像を抽出できない問題を避けることができる。
図10は、本実施例4中の画像処理装置の構成図であり、図10に示すように、画像処理装置1000は、以下のものを含む。
第一計算ユニット1001：入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり；
第一処理ユニット1002：該入力画像中の各画素に対して処理を行い、該入力画像の前景画像を検出し、そのうち、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を該入力画像中の背景画素と確定し、そうでない場合、前景画素と確定し、そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
そのうち、第一計算ユニット1001及び第一処理ユニット1002の具体的な実施方式は、実施例1中のステップ101〜102を参照することができ、ここでは、その詳細な説明を省略する。
本実施例では、該第一閾値と該感度との負の線形相関関は、
Figure 0006835215
である。そのうち、Rは、該第一閾値を示し、Sは、該感度を表し、該第一閾値の数値範囲は、[a、b]である。
本実施例では、該装置1000は、さらに、第二計算ユニット1003を含んでも良く、それは、該入力画像の検出領域の鮮明さを計算し、該検出領域中の画素の勾配の大きさの平均値を該鮮明さとする。
本実施例では、第二計算ユニット1003は、該入力画像の検出領域中の各画素の勾配の大きさの和と、該入力画像の検出領域中の画素数との比を計算し、該比を該鮮明さとし、或いは、第二算ユニット1003は、以下の式で該鮮明さを計算する。
Figure 0006835215
そのうち、wは、該入力画像の検出領域の幅を表し、hは、該入力画像の検出領域の高さを示し、pixel_numは、該入力画像の検出領域中の画素数を示し、Iは、画素値を表し、i及びjは、画素点の横縦座標を示す。
本実施例では、シーンの変化は、通常、突然起こることがなく、即ち、隣接する画像フレームの鮮明さが近いため、冗長な計算量を避けるために、該装置1000は、さらに、以下のものを含んでも良い。
第一選択ユニット1004：少なくとも１つのフレーム（画像）シーケンスのうちから該入力画像を選択し、そのうち、該第一選択ユニット1004は、第二所定数量のフレームおきに１つのフレーム画像を該入力画像として選択する。
本実施例では、冗長な計算量を避けるために、該装置は、さらに、以下のものを含んでも良い。
第二選択ユニット1005：該入力画像中の関心領域を選択し、該関心領域を該検出領域とする。
本実施例では、該装置1000は、さらに、更新ユニット1006を含んでも良く、それは、該背景モデルを更新し、そのうち、更新ユニット1006は、該第一処理ユニット1002の処理結果に基づいて該背景モデルを更新し、及び／又は、該第一処理ユニット1002の処理結果に基づいて該第一閾値を更新することができ、その具体的な実施方式は、実施例1を参照することができ、ここでは、その詳細な説明を省略する。
図11は、本発明の実施例の画像処理装置のハードウェア構成図である。図11に示すように、画像処理装置1100は、１つのインターフェース（図示せず）、中央処理装置（CPU）1120、記憶器1110、及び送受信器1140を含んでも良く、記憶器1110は、中央処理装置1120に接続される。そのうち、記憶器1110は、各種のデータを記憶することができ、また、さらに画像処理用のプログラムを記憶することができ、且つ中央処理装置1120の制御下で該プログラムを実行し、各種の所定の値及び所定の条件などを記憶することができる。
１つの実施方式では、画像処理装置1100の機能は、中央処理装置1120に統合することができる。そのうち、中央処理装置1120は、次のように構成されても良く、即ち、入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり、該入力画像中の各画素に対して処理を行い該入力画像の前景画像を検出し、そのうち、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を該入力画像中の背景画素と確定し、そうでない場合、前景画素と確定し、そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
そのうち、中央処理装置1120は、次のように構成されても良く、即ち、少なくとも１つのフレーム（画像）シーケンスのうちから該入力画像を選択し、そのうち、該第一選択ユニットは、第二所定数量のフレームおきに１つのフレーム画像を該入力画像として選択する。
そのうち、中央処理装置1120は、次のように構成されても良く、即ち、該入力画像の検出領域の鮮明さを計算し、該検出領域中の画素の勾配の大きさの平均値を該鮮明さとする。
そのうち、中央処理装置1120は、次のように構成されても良く、即ち、該入力画像の検出領域中の各画素の勾配の大きさの和と、該入力画像の検出領域中の画素数との比を計算し、該比を該鮮明さとする。
そのうち、中央処理装置1120は、次のように構成されても良く、即ち、以下の式で該鮮明さを計算する。
Figure 0006835215
そのうち、wは、該入力画像の検出領域の幅を示し、hは、該入力画像の検出領域の高さを表し、pixel_numは、該入力画像の検出領域中の画素点の個数を示し、Iは、画素値を表し、i及びjは、画素点の横縦座標を示す。
そのうち、中央処理装置1120は、次のように構成されても良く、即ち、該入力画像中の関心領域を選択し、該関心領域を該検出領域とする。
該第一閾値と該感度との負の線形相関関係は、
Figure 0006835215
である。そのうち、Rは、該第一閾値を示し、Sは、該感度を表し、該第一閾値の数値範囲は、[a、b]である。
そのうち、中央処理装置1120は、次のように構成されても良く、即ち、該背景モデルを更新し、該入力画像に対しての処理結果に基づいて該背景モデルを更新し、及び／又は、該入力画像に対しての処理結果に基づいて該第一閾値を更新する。
中央処理装置1120の具体的な実施方式は、実施例1を参照することができ、ここでは、その詳しい説明を省略する。
もう１つの実施方式では、上述の画像処理装置1100は、中央処理装置1120に接続されるチップ（図示せず）に構成され、中央処理装置1120の制御下で画像処理装置1100の機能を実現しても良い。
なお、画像処理装置1100は、必ずしも図11に示す全ての部品を含む必要がない。また、該画像処理装置1100は、さらに、図11に無い部品を含んでも良く、これについては、考従来技術を参照することができる。
図12は、本実施例4における画像処理装置の構成図である。図12に示すように、画像処理装置1200は、第一計算ユニット1201を含み、それは、入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり、また、さらに第一処理ユニット1202を含み、それは、該入力画像中の各画素に対して処理を行い、該背景モデルを更新し、そのうち、１つの画素に対して処理を行うときに、１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を１つのサンプル点に取り替えて該背景モデルを更新し、そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
そのうち、第一計算ユニット1201及び第一処理ユニット1202の具体的な実施方式は、実施例2中のステップ201〜202を参照することができ、ここでは、その詳細な説明を省略する。
本実施例では、該第一閾値と該感度との負の線形相関関係は、
Figure 0006835215
である。そのうち、Rは、該第一閾値を示し、Sは、該感度を表し、該第一閾値の数値範囲は、[a、b]である。
本実施例では、該装置1200は、さらに第二計算ユニット1203を含んでも良く、それは、該入力画像の検出領域の鮮明さを計算し、該検出領域中の画素の勾配の大きさの平均値を該鮮明さとする。
本実施例では、第二計算ユニット1203は、該入力画像の検出領域中の各画素の勾配の大きさの和と、該入力画像の検出領域中の画素数との比を計算し、該比を該鮮明さとし、或いは、第二算ユニット1203は、以下の式で該鮮明さを計算する。
Figure 0006835215
そのうち、wは、該入力画像の検出領域の幅を示し、hは、該入力画像の検出領域の高さを表し、pixel_numは、該入力画像の検出領域中の画素数を示し、Iは、画素値を表し、i及びjは、画素点の横縦座標を示す。
本実施例では、シーンの変化は、通常、突然生じることがなく、即ち、隣接する画像フレームの鮮明さが近いので、冗長な計算量を避けるために、該装置1200は、さらに、以下のものを含んでも良い。
第一選択ユニット1204：少なくとも１つのフレーム（画像）シーケンスのうちから該入力画像を選択し、そのうち、該第一選択ユニット1204は、第二所定数量のフレームおき１つのフレーム画像を該入力画像として選択する。
本実施例では、冗長な計算量を避けるために、該装置1200は、さらに、以下のものを含んでも良い。
第二選択ユニット1205：該入力画像中の関心領域を選択し、該関心領域を該検出領域とする。
本実施例では、該装置1200は、さらに抽出ユニット1206を含み、それは、更新後の背景モデルに基づいて該入力画像から前景画像を抽出する。その具体的な実施方式は、実施例2を参照することができ、ここでは、その詳細な説明を省略する。
図13は、本発明の実施例における画像処理装置のハードウェア構成図である。図13に示すように、画像処理装置1300は、１つのインターフェース（図示せず）、中央処理装置（CPU）1320、記憶器1310及び送受信器1340を含み、記憶器1310は、中央処理装置1320に接続される。そのうち、記憶器1310は、各種のデータを記憶することができ、また、さらに画像処理用のプログラムを記憶することができ、且つ中央処理装置1320の制御下で該プログラムを実行し、各種の所定の値及び所定の条件などを記憶することができる。
１つの実施方式では、画像処理装置1300の機能は、中央処理装置1320に集積することができる。そのうち、中央処理装置1320は、次のように構成されても良く、即ち、入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、該鮮明さが第一所定範囲内にあるときに、該感度は、該鮮明さと負の相関関係があり、該入力画像中の各画素に対して処理を行い、該背景モデルを更新し、そのうち、１つの画素に対して処理を行うときに、該１つの画素と、該背景モデル中で該１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、該１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、該１つの画素を１つのサンプル点に取り替えて該背景モデルを更新し、そのうち、該第一閾値は、該感度に基づいて確定され、該感度は、該第一閾値と負の線形相関関係がある。
そのうち、中央処理装置1320は、次のように構成されても良く、即ち、少なくとも１つのフレーム（画像）シーケンスのうちから該入力画像を選択し、そのうち、該第一選択ユニットは、第二所定数量のフレームおきに１つのフレーム画像を該入力画像として選択する。
そのうち、中央処理装置1320は、次のように構成されても良く、即ち、該入力画像の検出領域の鮮明さを計算し、該検出領域中画素の勾配の大きさの平均値を該鮮明さとする。
そのうち、中央処理装置1320は、次のように構成されても良く、即ち、該入力画像の検出領域中の各画素の勾配の大きさの和と、該入力画像の検出領域中の画素数との比を計算し、該比を該鮮明さとする。
そのうち、中央処理装置1320は、次のように構成されても良く、即ち、以下の式で該鮮明さを計算する。
Figure 0006835215
そのうち、wは、該入力画像の検出領域の幅を示し、hは、該入力画像の検出領域の高さを表し、pixel_numは、該入力画像の検出領域中の画素点の個数を示し、Iは、画素値を表し、i及びjは、画素点の横縦座標を示す。
そのうち、中央処理装置1320は、次のように構成されても良く、即ち、該入力画像中の関心領域を選択し、将該関心領域を該検出領域とする。
該第一閾値と該感度との負の線形相関関係は、
Figure 0006835215
 である。そのうち、Rは、該第一閾値を示し、Sは、該感度を表し、該第一閾値の数値範囲は、[a、b]である。
そのうち、中央処理装置1320は、次のように構成されても良く、即ち、更新後の背景モデルに基づいて該入力画像から前景画像を抽出する。
中央処理装置1320の具体的な実施方式は、実施例2を参照することができ、ここでは、その詳しい説明を省略する。
もう１つの実施方式では、上述の画像処理装置1300は、中央処理装置1320に接続されるチップ（図未せず）に構成され、中央処理装置1320の制御下で画像処理装置1300の機能を実現することもできる。
なお、画像処理装置1300は、必ずしも図13に示す全ての部品を含む必要がない。また、該画像処理装置1300は、さらに図13に無い部品を含んでも良く、これについては、従来技術を参照することができる。
上述の実施例により、VIBEアルゴリズム中の背景モデルのために感度を定義し、そして、画像の鮮明さに基づいて該感度を調整し、これにより、前景検出の正確度を向上させ、画像が不鮮明によることが原因で完全な前景画像を抽出できない問題を避けることができる。
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、画像処理装置中で該プログラムを実行するときに、該プログラムは、コンピュータに、該画像処理装置中で実施例1、2又は3中の画像処理方法を実行させる。
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、該コンピュータ可読プログラムは、コンピュータに、画像処理装置中で実施例1、2又は3中の画像処理方法を実行させる。
以上のユーザ装置及び方法は、ソフトウェア又はハードウェアにより実現されても良く、ハードウェアとソフトウェアとの組み合わせにより実現されても良い。本発明は、さらに、次のようなコンピュータ読み取り可能なプログラムに関し、即ち、該プログラムは、ロジック部品により実行されるときに、該ロジック部品に、上述のユーザ装置又は構造部品を実現させ、又は、該ロジック部品に、上述の各種の方法又はステップを実現させる。ロジック部品は、例えば、FPGA（Field Programmable Gate Array）、マイクロプロセッサ、コンピュータに用いる処理器などであっても良い。本発明は、さらに、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ハードディスク、DVD、フラッシュメモリなどにも関する。
また、図面に記載の機能ブロックのうちの１つ又は複数の組み合わせ及び／又は機能ブロックの１つ又は複数の組み合わせは、本願に記載の機能を実行するための汎用処理器、デジタル信号処理器（DSP）、専用集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）又は他のプログラム可能な論理部品、ディスクリートゲート又はトランジスタ論理部品、ディスクリートハードウェアアセンブリ又は他の任意の適切な組む合わせとして実現されても良い。また、図面に記載の機能ブロックのうちの１つ又は複数の組み合わせ及び／又は機能ブロックの１つ又は複数の組み合わせは、さらに、計算装置の組み合わせ、例えば、DSP及びマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPと通信により接続される１つ又は複数のマイクロプロセッサ又は他の任意のこのような構成として構成されても良い。
以上、本発明の好ましい実施形態を説明したが、本発明はこのような実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims (18)

  1. 画像処理装置であって、
    入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算する第一計算ユニットであって、前記鮮明さが第一所定範囲内にあるときに、前記感度は、前記鮮明さと負の相関関係を有する第一計算ユニット；及び
    前記入力画像中の各画素に対して処理を行い、前記入力画像の前景画像を検出する第一処理ユニットであって、１つの画素に対して処理を行うときに、前記１つの画素と、前記背景モデル中で前記１つの画素に対応する背景サンプル集のうちの各サンプル点と間の距離を計算し、前記１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、前記１つの画素を前記入力画像中の背景画素と確定し、そうでない場合、前景画素と確定する第一処理ユニット、或いは
    前記入力画像中の各画素に対して処理を行い、前記背景モデルを更新する第一処理ユニットであって、１つの画素に対して処理を行うときに、前記１つの画素と、前記背景モデル中で前記１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、前記１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、前記１つの画素を１つのサンプル点に取り替えて前記背景モデルを更新する第一処理ユニットを含み、
    前記第一閾値は、前記感度に基づいて確定され、前記感度は、前記第一閾値と負の線形相関関係を有する、装置。
  2. 請求項1に記載の装置であって、
    少なくとも１つのフレームシーケンスから前記入力画像を選択する第一選択ユニットをさらに含み、
    前記第一選択ユニットは、第二所定数量個のフレームおきに、１つのフレームを前記入力画像として選択する、装置。
  3. 請求項1に記載の装置であって、
    前記入力画像の検出領域の鮮明さを計算し、前記検出領域中の画素の勾配の大きさの平均値を前記鮮明さとする第二計算ユニットをさらに含む、装置。
  4. 請求項3に記載の装置であって、
    前記第二計算ユニットは、前記入力画像の検出領域中の各画素の勾配の大きさの和と、前記入力画像の検出領域中の画素数との比を計算し、前記比を前記勾配の大きさの平均値とする、装置。
  5. 請求項3に記載の装置であって、
    前記第二計算ユニットは、
    Figure 0006835215
    に基づいて前記勾配の大きさの平均値を計算し、
    ここで、wは、前記入力画像の検出領域の幅を示し、hは、前記入力画像の検出領域の高さを示し、pixel_numは、前記入力画像の検出領域中の画素数を示し、Iは、画素値を示し、i及びjは、画素点の横縦座標を示す、装置。
  6. 請求項1に記載の装置であって、
    前記入力画像中の関心領域を選択し、前記関心領域を前記検出領域とする第二選択ユニットをさらに含む、装置。
  7. 請求項1に記載の装置であって、
    前記第一閾値と前記感度との負の線形相関関係は、
    Figure 0006835215
    であり、
    ここで、Rは、前記第一閾値を示し、Sは、前記感度を示し、前記第一閾値の数値範囲は、[a、b]である、装置。
  8. 請求項1に記載の装置であって、
    前記第一処理ユニットが前記入力画像の前景画像を検出するときに、前記装置は、前記背景モデルを更新する更新ユニットをさらに含み、
    前記第一処理ユニットが前記背景モデルを更新するときに、前記装置は、更新後の背景モデルに基づいて前記入力画像から前景画像を抽出する抽出ユニットをさらに含む、装置。
  9. 請求項8に記載の装置であって、
    前記更新ユニットは、前記第一処理ユニットの処理結果に基づいて前記背景モデルを更新し、及び／又は、前記第一処理ユニットの処理結果に基づいて前記第一閾値を更新する、装置。
  10. 画像処理装置であって、
    複数の指令を記憶しているメモリ；及び
    前記メモリと接続されるプロセッサを含み、
    前記プロセッサは、前記複数の指令を実行することにより、
    入力画像の検出領域の鮮明さに基づいて背景モデルの感度を計算し、前記鮮明さが第一所定範囲内にあるときに、前記感度は、前記鮮明さと負の相関関係を有し；及び
    前記入力画像中の各画素に対して処理を行い、前記入力画像の前景画像を検出し、１つの画素に対して処理を行うときに、前記１つの画素と、前記背景モデル中で前記１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、前記１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、前記１つの画素を前記入力画像中の背景画素と確定し、そうでない場合、前景画素と確定し、
    或いは、前記入力画像中の各画素に対して処理を行い、前記背景モデルを更新し、１つの画素に対して処理を行うときに、前記１つの画素と、前記背景モデル中で前記１つの画素に対応する背景サンプル集のうちの各サンプル点との間の距離を計算し、前記１つの画素と、少なくとも第一所定数量個のサンプル点との距離が所定の第一閾値以下である場合、前記１つの画素を１つのサンプル点に取り替えて前記背景モデルを更新するように構成され、
    前記第一閾値は、前記感度に基づいて確定され、前記感度は、前記第一閾値と負の線形相関関係がある、装置。
  11. 請求項10に記載の装置であって、
    前記プロセッサは、さらに、
    少なくとも１つのフレームシーケンスから前記入力画像を選択することであって、第二所定数量個のフレームおきに、１つのフレームを前記入力画像として選択することを実行するように構成される、装置。
  12. 請求項10に記載の装置であって、
    前記プロセッサは、さらに、
    前記入力画像の検出領域の鮮明さを計算し、前記検出領域中の画素の勾配の大きさの平均値を前記鮮明さとするように構成される、装置。
  13. 請求項12に記載の装置であって、
    前記入力画像の検出領域中の各画素の勾配の大きさの和と、前記入力画像の検出領域中の画素数との比を計算し、前記比を前記勾配の大きさの平均値とする、装置。
  14. 請求項12に記載の装置であって、
    前記プロセッサは、
    Figure 0006835215
     に基づいて前記勾配の大きさの平均値を計算し、
    ここで、wは、前記入力画像の検出領域の幅を示し、hは、前記入力画像の検出領域の高さを示し、pixel_numは、前記入力画像の検出領域中の画素数を示し、Iは、画素値示し、i及びjは、画素点の横縦座標を示す、装置。
  15. 請求項10に記載の装置であって、
    前記プロセッサは、さらに、
    前記入力画像中の関心領域を選択し、前記関心領域を前記検出領域とするように構成される、装置。
  16. 請求項10に記載の装置であって、
    前記第一閾値と前記感度との負の線形相関関係は、
    Figure 0006835215
     であり、
    ここで、Rは、前記第一閾値を示し、Sは、前記感度を示し、前記第一閾値の数値範囲は、[a、b]である、装置。
  17. 請求項10に記載の装置であって、
    前記入力画像中の各画素に対して処理を行い、前記入力画像の前景画像を検出するときに、前記プロセッサは、さらに、前記背景モデルを更新するように構成され、
    前記入力画像中の各画素に対して処理を行い、前記背景モデルを更新するときに、前記プロセッサは、さらに、更新後の背景モデルに基づいて前記入力画像から前景画像を抽出するように構成される、装置。
  18. 請求項17に記載の装置であって、
    前記入力画像に対しての処理結果に基づいて前記背景モデルを更新し、及び／又は、前記入力画像に対して処理結果に基づいて前記第一閾値を更新する、装置。
JP2019518041A 2016-10-14 2016-10-14 画像処理方法及び装置 Active JP6835215B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/102120 WO2018068300A1 (zh) 2016-10-14 2016-10-14 图像处理方法和装置

Publications (2)

Publication Number Publication Date
JP2019531552A JP2019531552A (ja) 2019-10-31
JP6835215B2 true JP6835215B2 (ja) 2021-02-24

Family

ID=61906103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019518041A Active JP6835215B2 (ja) 2016-10-14 2016-10-14 画像処理方法及び装置

Country Status (3)

Country Link
JP (1) JP6835215B2 (ja)
CN (1) CN109478329B (ja)
WO (1) WO2018068300A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3800615A1 (en) * 2019-10-01 2021-04-07 Axis AB Method and device for image analysis
CN111062273B (zh) * 2019-12-02 2023-06-06 青岛联合创智科技有限公司 一种遗留物品追溯检测与报警方法
CN111626188B (zh) * 2020-05-26 2022-05-06 西南大学 一种室内不可控明火监测方法及系统
CN114205642B (zh) * 2020-08-31 2024-04-26 北京金山云网络技术有限公司 一种视频图像的处理方法和装置
CN112258467A (zh) * 2020-10-19 2021-01-22 浙江大华技术股份有限公司 一种图像清晰度的检测方法和装置以及存储介质
CN112508898A (zh) * 2020-11-30 2021-03-16 北京百度网讯科技有限公司 眼底图像的检测方法、装置及电子设备
CN113505737A (zh) * 2021-07-26 2021-10-15 浙江大华技术股份有限公司 前景图像的确定方法及装置、存储介质、电子装置
CN113808154A (zh) * 2021-08-02 2021-12-17 惠州Tcl移动通信有限公司 一种视频图像处理方法、装置、终端设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE458231T1 (de) * 2007-07-08 2010-03-15 Univ Liege Extraktor für visuellen hintergrund
CN103971386B (zh) * 2014-05-30 2017-03-15 南京大学 一种动态背景场景下的前景检测方法
CN104392468B (zh) * 2014-11-21 2017-08-04 南京理工大学 基于改进视觉背景提取的运动目标检测方法
CN105894534B (zh) * 2016-03-25 2018-07-17 中国传媒大学 一种基于ViBe的改进运动目标检测方法

Also Published As

Publication number Publication date
CN109478329B (zh) 2021-04-20
JP2019531552A (ja) 2019-10-31
CN109478329A (zh) 2019-03-15
WO2018068300A1 (zh) 2018-04-19

Similar Documents

Publication Publication Date Title
JP6835215B2 (ja) 画像処理方法及び装置
WO2022002039A1 (zh) 一种基于视觉地图的视觉定位方法、装置
CN109076198B (zh) 基于视频的对象跟踪遮挡检测系统、方法和设备
Wang et al. Image segmentation of overlapping leaves based on Chan–Vese model and Sobel operator
Xu et al. Background modeling methods in video analysis: A review and comparative evaluation
TWI662512B (zh) 更新用於影像之背景相減的背景模型之方法和設備
Maddalena et al. The 3dSOBS+ algorithm for moving object detection
KR101891225B1 (ko) 배경 모델을 업데이트하기 위한 방법 및 장치
TWI670684B (zh) 運動目標即時檢測與跟蹤方法及目標檢測裝置
KR101457313B1 (ko) 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품
CN107729908B (zh) 一种机器学习分类模型的建立方法、装置及系统
CN102982537B (zh) 一种检测场景变换的方法和系统
RU2014127535A (ru) Автоматизация анализа изображения
WO2013000404A1 (zh) 一种图像检测方法及装置
JP6809613B2 (ja) 画像前景の検出装置、検出方法及び電子機器
CN109754440A (zh) 一种基于全卷积网络和均值漂移的阴影区域检测方法
CN109785356B (zh) 一种视频图像的背景建模方法
JP2015201209A (ja) デジタル画像における関心点の検出方法
CN110853077B (zh) 一种基于形态变化估计的自适应红外动态帧特征提取方法
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
CN112329677B (zh) 基于特征融合的遥感图像河道目标检测方法和装置
Qi et al. Cascaded cast shadow detection method in surveillance scenes
Zeng et al. Detecting and measuring fine roots in minirhizotron images using matched filtering and local entropy thresholding
CN116310889A (zh) 无人机环境感知数据的处理方法、控制终端以及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190410

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210118

R150 Certificate of patent or registration of utility model

Ref document number: 6835215

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150