JP7014005B2 - 画像処理装置及び方法、電子機器 - Google Patents
画像処理装置及び方法、電子機器 Download PDFInfo
- Publication number
- JP7014005B2 JP7014005B2 JP2018064594A JP2018064594A JP7014005B2 JP 7014005 B2 JP7014005 B2 JP 7014005B2 JP 2018064594 A JP2018064594 A JP 2018064594A JP 2018064594 A JP2018064594 A JP 2018064594A JP 7014005 B2 JP7014005 B2 JP 7014005B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- current frame
- foreground
- point
- runout
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 37
- 238000012545 processing Methods 0.000 title claims description 37
- 239000013598 vector Substances 0.000 claims description 108
- 238000001514 detection method Methods 0.000 claims description 54
- 230000003287 optical effect Effects 0.000 claims description 30
- 239000000284 extract Substances 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 230000006641 stabilisation Effects 0.000 description 6
- 238000011105 stabilization Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Description
本発明は、情報技術分野に関し、特に、画像処理装置及び方法、電子機器に関する。
近年、前景検出が、目標追跡、目標検出、道路監視及びその他の多くの分野に幅広く用いられている。しかし、カメラ撮影時の各種の不安定要因のせいで、従来のアルゴリズムを利用して前景検出を行う時に、撮影により得られたビデオ中の振れ（shaking）により、多くの背景領域が前景領域と誤って検出される場合がある。例えば、VIBE（Visual background extractor）アルゴリズムでは、１つのピクセル（画素点）について、隣接するピクセルが近いピクセル値の空間分布特性を有すると仮定し、その隣接する領域におけるピクセルのピクセル値を背景モデルのサンプル値としてランダムに選択する。該方法は、１つのピクセルの振れによる影響のみを防止することできる。実際には、振れに伴って生成したディストーションや局所運動を消去することができない。このような誤検出は、ビデオ画像の各領域に現れる可能性があり、幾つかの誤った前景領域は、検出結果に大きな影響を与えることがある。
従来のビデオ・スタビライゼーション（video stabilization）方法、例えば、画像をスタビライゼーションさせるためのブロックマッチング又は特徴抽出の方法は、すべて、局所（local）運動を計算することで全域（global）運動を推定する。このような方法は、振れの範囲を小さくし、比較的大きな振れを消去することができる。
発明者は、次のようなことを発見した。即ち、上述の従来のビデオ・スタビライゼーション方法を用いてビデオを処理する時に、局所運動の距離が全域運動の距離に等しくないため、画像にディストーションが生じることがよくある。また、補償を行っても、ビデオ画像フレームには、依然として、幾つかの未解決の局所振れ、例えば、木の葉の揺れが存在する。小さい振れであっても、背景領域のエッジが前景領域と誤って検出されることを来す可能性がある。
本発明の実施例は、画像処理装置及び方法、電子機器を提供し、現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し、そして、該差に基づいて、検出された前景ポイントに対してオフセット・マッチングを行うことで、オプティカル・フロー（optical flow）マッチングの検出の不正確性及び局所振れによる前景検出結果への影響を無くし、前景ポイントと誤って検出された背景ポイントを除去することができ、これにより、正確な前景検出結果を得ることができる。
本発明の実施例の第一側面によれば、画像処理装置が提供され、前記装置は、第一前景検出ユニットであって、背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、そして、前記前景マスクに基づいて第一前景領域を確定するためのもの；振れ検出ユニットであって、オプティカル・フロー・マッチングに基づいて、前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを検出するためのもの；計算ユニットであって、前記現在のフレームの画像全体の振れベクトルと、前記各局所の振れベクトルとの差を計算するためのもの；振れ補償ユニットであって、前記現在のフレームの画像全体の振れベクトルに基づいて、前記現在のフレームの画像に対して全域振れ補償を行うためのもの；オフセットマッチングユニットであって、前記差に基づいて、前記第一前景領域中のピクセルに対してオフセット・マッチングを行うためのもの；及び、第二前景検出ユニットであって、前記オフセット・マッチングの結果に基づいて前記前景マスクを更新し、そして、更新後の前景マスクに基づいて第二前景領域を確定するためのものを含む。
本発明の実施例の第二側面によれば、電子機器が提供され、前記電子機器は、本発明の実施例の第一側面に記載の装置を含む。
本発明の実施例の第三側面によれば、画像処理方法が提供され、前記方法は、背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、そして、前記前景マスクに基づいて第一前景領域を確定し；オプティカル・フロー・マッチングに基づいて、前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを検出し；前記現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し；前記現在のフレームの画像全体の振れベクトルに基づいて、前記現在のフレームの画像に対して全域振れ補償を行い；前記差に基づいて前記第一前景領域中のピクセルに対してオフセット・マッチングを行い；及び、前記オフセット・マッチングの結果に基づいて前記前景マスクを更新し、そして、更新後の前景マスクに基づいて第二前景領域を確定することを含む。
本発明の有益な効果は、次の通りであり、即ち、現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し、そして、該差に基づいて、検出された前景ポイントに対してオフセット・マッチングを行うことで、オプティカル・フロー・マッチングの検出の不正確性及び局所振れによる前景検出結果への影響を無くし、前景ポイントと誤って検出された背景ポイントを消去することができ、これにより、正確な前景検出結果を得ることができる。
以下、添付した図面を参照しながら、本発明を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本発明を限定するものでない。
本発明の実施例は、画像処理装置を提供し、図1は、本発明の実施例1の画像処理装置を示す図である。図1に示すように、画像処理装置100は、次のようなものを含む。
第一前景検出ユニット101：背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、そして、該前景マスクに基づいて第一前景領域を確定し；
振れ検出ユニット102：オプティカル・フロー・マッチングに基づいて該現在のフレームの画像全体の振れベクトル及び該現在のフレームの画像中の各局所の振れベクトルを検出し；
計算ユニット103：該現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し；
振れ補償ユニット104：該現在のフレームの画像全体の振れベクトルの検出結果に基づいて、該現在のフレームの画像に対して全域振れ補償を行い；
オフセットマッチングユニット105：該差に基づいて第一前景領域中のピクセルに対してオフセット・マッチングを行い；
第二前景検出ユニット106：オフセット・マッチングの結果に基づいて該前景マスクを更新し、そして、更新後の前景マスクに基づいて第二前景領域を確定する。
振れ検出ユニット102：オプティカル・フロー・マッチングに基づいて該現在のフレームの画像全体の振れベクトル及び該現在のフレームの画像中の各局所の振れベクトルを検出し；
計算ユニット103：該現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し；
振れ補償ユニット104：該現在のフレームの画像全体の振れベクトルの検出結果に基づいて、該現在のフレームの画像に対して全域振れ補償を行い；
オフセットマッチングユニット105：該差に基づいて第一前景領域中のピクセルに対してオフセット・マッチングを行い；
第二前景検出ユニット106：オフセット・マッチングの結果に基づいて該前景マスクを更新し、そして、更新後の前景マスクに基づいて第二前景領域を確定する。
上述の実施例から分かるように、現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し、そして、該差に基づいて、検出された前景ポイントに対してオフセット・マッチングを行うことで、振れのせいで前景ポイントと誤って検出された背景ポイントを有効に除去することができ、これにより、振れによる前景検出への影響を無くし、正確な前景検出結果を得ることができる。
本実施例では、該入力ビデオは、前景検出を行う必要があるビデオであり、例えば、該入力ビデオは、監視カメラにより得られたビデオであっても良い。
本実施例では、該入力ビデオは、複数のフレームの画像を有しても良く、該複数のフレームの画像は、時間順に従ってフレームごとに配列されている。
本実施例では、第一前景検出ユニット101は、背景モデルに基づいて入力ビデオの該現在のフレームの画像の前景マスクを抽出し、そして、該前景マスクに基づいて第一前景領域を確定する。
本実施例では、背景モデルに基づいて前景マスクを抽出する具体的な方法は、従来の方法を参照することができ、例えば、現在の背景モデルのマッチングにより現在のフレームの画像の背景画像を取得し、背景画像と現在のフレームの画像とを比較することで、明らかに異なるピクセルのピクセル値を1と設定し、残りのピクセルのピクセル値を0に設定すれば、ピクセル値が1のピクセルは前景ポイントであり、処理後に得られたのは２値化前景マスクである。
図2は、本発明の実施例1の現在のフレームの画像を示す図である。図3は、本発明の実施例1の第一前景検出ユニットが得た前景マスクを示す図である。図2に示す現在のフレームの画像が第一前景検出ユニット101により処理された後に、図3に示すような前景マスクを取得し、それは２値化画像であり、そのうち、ピクセル値が1のピクセルからなる領域（図3中の白色領域）は、第一前景領域である。
本実施例では、該背景モデルは、従来の背景モデルを採用しても良く、例えば、該背景モデルは、平均背景法を用いて作られたモデル又は混合ガウスモデルなどであっても良い。
本実施例では、振れ検出ユニット102は、オプティカル・フロー・マッチングに基づいて、現在のフレームの画像全体の振れベクトル及び現在のフレームの画像中の各局所の振れベクトルを検出する。そのうち、オプティカル・フロー・マッチングに基づいて振れベクトルを検出する具体的な方法は、従来の技術を参照することができる。以下、本実施例の振れ検出ユニット102の構成及び振れベクトルの検出方法について詳細に説明する。
図4は、本発明の実施例1の振れ検出ユニットを示す図である。図4に示すように、振れ検出ユニット102は、次のようなものを含む。
抽出ユニット401：現在のフレームの画像のうちから複数の特徴点を抽出し；
確定ユニット402：各特徴点の重み（weight）を確定し；
クラスタリングユニット403：オプティカル・フロー・マッチング及び各特徴点の重みに基づいてクラスタリング（clustering）を行い、現在のフレームの画像全体の振れベクトル及び現在のフレームの画像中の各局所の振れベクトルを得る。
確定ユニット402：各特徴点の重み（weight）を確定し；
クラスタリングユニット403：オプティカル・フロー・マッチング及び各特徴点の重みに基づいてクラスタリング（clustering）を行い、現在のフレームの画像全体の振れベクトル及び現在のフレームの画像中の各局所の振れベクトルを得る。
本実施例では、抽出ユニット401は、従来の方法により特徴点を得ることができる。例えば、まず、現在のフレームの画像の解像度に基づいて画像を分割し、例えば、現在のフレームの画像の解像度が1920×1080の場合、該画像を10×10の画像ブロックに分割し、そして、各画像ブロックのうちから3～5個のHarrisコーナー（Harris corner points）を見つけて特徴点とすることができる。
以下、確定ユニット402の構成及び重みの確定方法について詳しく説明する。
図5は、本発明の実施例1の確定ユニット402を示す図である。図5に示すように、確定ユニット402は、次のようなものを含む。
統計ユニット501：各特徴点の所在位置のピクセルが、現在のフレームの画像の前の所定数量のフレームの画像において前景ポイント又は背景ポイント又はマッチング錯誤（マッチングが誤ったこと）と検出された割合を統計し；
第一確定ユニット502：該割合に基づいて、現在のフレームの画像中での各特徴点の重みを確定する。
第一確定ユニット502：該割合に基づいて、現在のフレームの画像中での各特徴点の重みを確定する。
このように、各特徴点の所在位置のピクセルの以前の前景検出結果を統計することで、各特徴点の重みを確定することにより、振れ検出の正確度を有効に向上させることができる。
本実施例では、実際のニーズに応じて、統計する必要があるフレームの数量を確定しても良い。例えば、該所定数量は、50～100であっても良い。
本実施例では、該所定数量のフレームの画像のうちの第１個目のフレームの画像を処理する時に初期（initial）背景モデルを作成することができ、例えば、18～23個の画像行列（matrix）を作成し、これらの画像行列は、第１個目のフレームの画像のグレースケール画像又は54～69個のRGBチャンネルと分離し、且つ同じサイズを有し、第１個目のフレームの画像の初期グレースケール画像又は分離チャンネルのグレーレベルを格納し、これにより、初期の単チャンネル又は３チャンネルの背景モデルを形成することができる。
また、本実施例では、如何に該割合に基づいて重みを確定するかは、実際のニーズに応じて設定されても良く、以下、例示的に説明する。
図6は、本発明の実施例1の第一確定ユニット502を示す図である。図6に示すように、第一確定ユニット502は、次のようなものを含む。
第二確定ユニット601：該特徴点の所在位置のピクセルが、所定数量のフレームの画像において前景ポイントと検出された割合が30%～70%であり、背景ポイントと検出された割合が30%～70%である時に、該特徴点の重みを3と確定し；
第三確定ユニット602：該特徴点の所在位置のピクセルが、所定数量のフレームの画像において前景ポイントと検出された割合が70%～100%であり、背景ポイントと検出された割合が0%～30%である時に、該特徴点の重みを2と確定し；
第四確定ユニット603：該特徴点の所在位置のピクセルが、所定数量のフレームの画像において前景ポイントと検出された割合が0%～30%であり、背景ポイントと検出された割合が70%～100%である時に、該特徴点の重みを1と確定し；
第五確定ユニット604：該特徴点の所在位置のピクセルが、所定数量のフレームの画像においてマッチング錯誤と検出された回数が2よりも大きい時に、特徴点の重みを0と確定する。
第三確定ユニット602：該特徴点の所在位置のピクセルが、所定数量のフレームの画像において前景ポイントと検出された割合が70%～100%であり、背景ポイントと検出された割合が0%～30%である時に、該特徴点の重みを2と確定し；
第四確定ユニット603：該特徴点の所在位置のピクセルが、所定数量のフレームの画像において前景ポイントと検出された割合が0%～30%であり、背景ポイントと検出された割合が70%～100%である時に、該特徴点の重みを1と確定し；
第五確定ユニット604：該特徴点の所在位置のピクセルが、所定数量のフレームの画像においてマッチング錯誤と検出された回数が2よりも大きい時に、特徴点の重みを0と確定する。
本実施例では、例えば、マッチング錯誤とは、ある特徴点がマッチングできず、又は、マッチング後に計算された変位が所定閾値を超えたことである。
以上、確定ユニット402の構成及び前景マスク中での各特徴点の重みの確定方法について説明した。各特徴点の重みを確定した後に、クラスタリングユニット403は、オプティカル・フロー・マッチングに基づいて、また、各特徴点の重みに基づいて、クラスタリングを行い、現在のフレームの画像全体の振れベクトル及び現在のフレームの画像中の各局所の振れベクトルを取得することができる。例えば、重みをクラスタリングにおいて該特徴点を計算する回数として、クラスタリングを行う方法は、従来の方法を採用しても良い。
例えば、次のような公式（1）、（2）を用いて、振れベクトルを計算することができる。
そのうち、Xは、振れベクトル距離の分散（variance）を表し、Yは、振れベクトル角度の分散（variance）を表し、Nは、検出された、加重（weighting）後のオプティカル・フロー・マッチング・ベクトルの数量を表し、Diは、第i個目の特徴点ベクトル長さを示し、Dcenterは、全域ベクトル長さ平均値を表し、Aiは、第i個目の特徴点のベクトル方向を表し、Acenterは、全域ベクトル方向平均値を表し、Wiは、第i個目の特徴点の重みを表し、kは、特徴点の数量を表し、k及びiは、正の整数である。
本実施例では、従来のクラスタリング方法、例えば、K-meansクラスタリング法を用いても良い。
例えば、３つの特徴点のオプティカル・フロー・マッチング・ベクトルをクラスタの中心としてランダムに選択し、また、最小のクラスタを除去し、それから、残りの２つのクラスのベクトルの長さ及び方向に対して平均値の計算を行い、振れベクトルの計算結果を得ることができる。
本実施例では、クラスタリングユニット403は、現在のフレームの画像全体においてクラスタリングを行い、これにより、現在のフレームの画像全体の振れベクトルを取得し、また、各局所においてクラスタリングをそれぞれ行い、これにより、各局所の振れベクトルを取得する。
本実施例では、実際のニーズに応じてフレーム画像を分割して局部としても良い。例えば、現在のフレームの画像全体を上、中、下という３つの局所領域に分割しても良い。
本実施例では、計算ユニット103は、現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算する。
本実施例では、振れ補償ユニット104は、現在のフレームの画像全体の振れベクトルに基づいて、現在のフレームの画像に対して全域振れ補償を行い、それは、従来の方法を用いて全域振れ補償を行っても良く、例えば、振れベクトルに基づいて画像に対して平行移動を行っても良い。このように、平均特徴点サンプリング、重みマッチング、及びベクトルク・ラスタリングを経た後に、全域振れ補償を行うことにより、従来のオプティカル・フロー・マッチング法に比べて、より安定な全域イメージ・スタビライゼーション（image stabilization）効果を得ることができ、これにより、より安定な画像を得ることができる。
例えば、次のような公式（3）に基づいて平行移動を行うことができる。
そのうち、x、yは、各ピクセルの平行移動前の座標を表し、xi、yiは、各ピクセルの平行移動前の座標を表し、Mは、振れベクトルの距離を表し、θは、振れベクトルの角度を表す。
本実施例では、オフセットマッチングユニット105は、計算ユニット103が計算した差に基づいて、第一前景領域中のピクセルに対してオフセット・マッチングを行う。例えば、第一前景領域中でのピクセルに対して該差に基づいてオフセットを行った後に、再び現在の背景モデルを用いてマッチングを行う。
本実施例では、該差は、現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの距離の差（即ち、距離オフセット）及び角度の差（即ち、角度オフセット）を含む。
本実施例では、オフセット・マッチングを行う時に、マッチング待ちピクセルの所在の局所位置に基づいて、それに対してマッチングを行う時に使用される差を確定し、例えば、上、中、下という３つの局所のうちの上方の局所に位置する第一前景領域中のピクセルの場合、現在のフレームの画像全体の振れベクトルと、上方の局所の振れベクトルとの差を用いて、オフセット・マッチングを行い、上、中、下という３つの局所のうちの中間の局所に位置する第一前景領域中のピクセルの場合、現在のフレームの画像全体の振れベクトルと、中間の局所の振れベクトルとの差を用いて、オフセット・マッチングを行い、上、中、下という３つの局所のうちの下方の局所に位置する第一前景領域中のピクセルの場合、現在のフレームの画像全体の振れベクトルと、下方の局所の振れベクトルとの差を用いて、オフセット・マッチングを行う。
例えば、次のような公式（4）に基づいてオフセット・マッチングを行うことができる。
そのうち、distは、現在のフレーム中のピクセル(i,j)と、背景モデル中のマッチング待ちピクセルとの差を表し、reference_frame.at<ucha>は、背景モデル中のマッチング待ちピクセルを表し、current_frame.at<ucha>は、現在のフレーム中のマッチング待ちピクセルを表し、Dは、距離オフセットを表し、round()は、整数を取る演算を表し、θは、角度オフセットを表し、abs()は、絶対値を取る演算を表す。
本実施例では、オフセットマッチングユニット105がオフセット・マッチングを行った後に、第二前景検出ユニット106は、オフセット・マッチングの結果に基づいて該前景マスクを更新し、そして、更新後の前景マスクに基づいて第二前景領域を確定する。例えば、第一前景領域中の、背景ポイントとオフセット・マッチングされた前景ポイントを除去し、更新後の前景マスクを取得し、この場合、更新後の前景マスク中の、残りの前景ポイントからなる領域は、第二前景領域である。
図7は、本発明の実施例1の第二前景検出ユニットが得た前景マスクを示す図である。図7に示すように、図2に示す前景マスクに比べ、前景ポイントと誤って検出された背景ポイントが除去され、検出結果の正確性は、大幅に向上している。
本実施例では、該装置100は、さらに、次のようなものを含んでも良い。
更新ユニット107；オフセット・マッチングの結果に基づいて該背景モデルを更新し、更新後のものは、現在のフレームの次の１つのフレームの画像を処理するために用いられる。
図8は、本発明の実施例1の更新ユニット107を示す図である。如図8に示すように、更新ユニット107は、次のようなものを含む。
第一更新ユニット801：各背景ポイントの背景モデルについて、第一確率で該背景モデルを、該現在のフレームの画像の該背景ポイントの所在位置の背景モデル又は該背景ポイントのオフセット後の所在位置の背景モデルに更新し；
第二更新ユニット802：第一前景領域に含まれるが、第二前景領域に含まれない各ピクセルの背景モデルについて、即ち、前景ポイントと誤って検出された背景ポイントの背景モデルについて、第二確率で該背景モデルを、該現在のフレームの画像の該ピクセルのオフセット後の所在位置の背景モデルに更新する。
第二更新ユニット802：第一前景領域に含まれるが、第二前景領域に含まれない各ピクセルの背景モデルについて、即ち、前景ポイントと誤って検出された背景ポイントの背景モデルについて、第二確率で該背景モデルを、該現在のフレームの画像の該ピクセルのオフセット後の所在位置の背景モデルに更新する。
このように、オフセット・マッチングの結果に基づいて背景モデルを更新することで、該背景モデルをさらに最適化することができ、これにより、振れを有するビデオ画像の前景検出結果の正確性をさらに向上させることができる。
例えば、次のような公式（5）、（6）に基づいて背景モデルを更新することができる。
そのうち、B(rng.uniform(0,i))j=R(x,y)は、第j個目の背景モデルがR(x,y)により置換される確率が1/iであるを表し、R(x,y)は、前景ポイントと誤って検出された背景ポイントが選択されて更新される場合、同じ位置のピクセルP(x,y)又はオフセット後の位置のピクセルP(xd,yd)においてランダムに更新を行うことを表し、rng.uniform(0,1)は、0～1の間の１つの乱数（random number）を表し、元の位置又はオフセット後の位置をランダムに採用して更新を行うことを表す。
本実施例では、第一確率及び第二確率は、同じであっても良く、異なっても良く、その具体的な数値は、実際のニーズに応じて設定されても良い。例えば、第一確率及び第二確率は、1/90～1/120であっても良い。
例えば、各背景ポイントの背景モデルについて、1/90～1/120の確率を用いて、それを、現在のフレームの画像の該背景ポイントの所在位置の背景モデル又は該背景ポイントのオフセット後の所在位置の背景モデルに更新し、そのうち、更新すると確定した時に、現在のフレームの画像の該背景ポイントの所在位置の背景モデル、及び該背景ポイントのオフセット後の所在位置の背景モデルに更新する確率は、それぞれ、1/2である。前景ポイントと誤って検出された背景ポイントの背景モデルについて、1/90～1/120の確率を用いて、それを、現在のフレームの画像の該背景ポイントのオフセット後の所在位置の背景モデルに更新する。
上述の実施例から分かるように、現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し、そして、該差に基づいて、検出された前景ポイントに対してオフセット・マッチングを行い、オプティカル・フロー・マッチングの検出の不正確性及び局所振れによる前景検出結果への影響を無くし、前景ポイントと誤って検出された背景ポイントを除去することができ、これにより、正確な前景検出結果を得ることができる。
本発明の実施例は、さらに、電子機器を提供する。図9は、本発明の実施例2の電子機器を示す図である。図9に示すように、電子機器900は、画像処理装置901を含み、画像処理装置901の構成及び機能は、実施例1中の記載と同じであるため、ここでは詳しい説明を省略する。
図10は、本発明の実施例2の電子機器のシステム構成を示す図である。図10に示すように、電子機器1000は、中央処理装置1001及び記憶器1002を含んでも良く、記憶器1002は、中央処理装置1001に接続される。なお、この図は、例示に過ぎず、さらに他の類型の構造を以てこの構造に対して補充又は代替を行うことで、電気通信機能又は他の機能を実現することができる。
図10に示すように、該電子機器1000は、さらに、入力ユニット1003、表示器1004及び電源1005を含む。
１つの実施方式では、実施例1に記載の画像処理装置の機能は、中央処理装置1001に統合しても良い。そのうち、中央処理装置1001は、次のように構成されても良く、即ち、背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、そして、前記前景マスクに基づいて第一前景領域を確定し；オプティカル・フロー・マッチングに基づいて前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを検出し；前記現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し；前記現在のフレームの画像全体の振れベクトルに基づいて前記現在のフレームの画像に対して全域振れ補償を行い；前記差に基づいて、前記第一前景領域中のピクセルに対してオフセット・マッチングを行い；及び、オフセット・マッチングの結果に基づいて前記前景マスクを更新し、そして、更新後の前景マスクに基づいて第二前景領域を確定する。
例えば、オプティカル・フロー・マッチングに基づいて現在のフレームの画像全体の振れベクトルを検出することは、現在のフレームの画像のうちから複数の特徴点を抽出し；各特徴点の重みを確定し；オプティカル・フロー・マッチング及び各特徴点の重みに基づいてクラスタリングを行い、現在のフレームの画像全体の振れベクトル及び現在のフレームの画像中の各局所の振れベクトルを得ることを含む。
例えば、各特徴点の重みを確定することは、各特徴点の所在位置のピクセルが、現在のフレームの画像の前の所定数量のフレームの画像において前景ポイント又は背景ポイント又はマッチング錯誤と検出された割合を統計し；前記割合に基づいて現在のフレームの画像中の各特徴点の重みを確定することを含む。
例えば、前記割合に基づいて現在のフレームの画像中の各特徴点の重みを確定することは、前記特徴点の所在位置のピクセルの、前記所定数量のフレームの画像中で前景ポイントと検出された割合が30%～70%、背景ポイントと検出された割合が30%～70%のとき、前記特徴点の重みを3と確定し；前記特徴点の所在位置のピクセルの、前記所定数量のフレームの画像中で前景ポイントと検出された割合が70%～100%、背景ポイントと検出された割合が0%～30%のとき、前記特徴点の重みを2と確定し；前記特徴点の所在位置のピクセルの、前記所定数量のフレームの画像中で前景ポイントと検出された割合が0%～30%、背景ポイントと検出された割合が70%～100%のとき、前記特徴点の重みを1と確定し；前記特徴点の所在位置のピクセルの、前記所定数量のフレームの画像中でマッチング錯誤と検出された回数が2よりも大きいとき、前記特徴点の重みを0と確定する。
例えば、中央処理装置1001は、さらに、次のように構成されても良く、即ち、オフセット・マッチングの結果に基づいて、前記背景モデルを更新する。
例えば、前記オフセット・マッチングの結果に基づいて前記背景モデルを更新することは、各背景ポイントの背景モデルについて、第一確率を以て前記背景モデルを、現在のフレームの画像の前記背景ポイントの所在位置の背景モデル又は前記背景ポイントのオフセット後の所在位置の背景モデルに更新し；前記第一前景領域に含まれるが、前記第二前景領域に含まれない各前景ポイントの背景モデルについて、第二確率を以て前記背景モデルを、現在のフレームの画像の前記前景ポイントのオフセット後の所在位置の背景モデルに更新する。
もう１つの実施方式では、実施例1に記載の画像処理装置は、中央処理装置1001と別々で構成されても良く、例えば、画像処理装置を、中央処理装置1001に接続されるチップとして構成し、中央処理装置1001の制御で画像処理装置の機能を実現しても良い。
本実施例では、電子機器1000は、必ずしも図10中の全ての部品を含む必要がない。
図10に示すように、中央処理装置1001は、制御器又は操作コントローラと称される場合があり、マイクロプロセッサ又は他の処理器装置及び／又は論理装置を含んでも良く、中央処理装置1001は、入力を受信し、電子機器1000の各部品の操作を制御することができる。
記憶器1002は、例えば、バッファ、フレッシュメモリ、HDD、移動可能な媒体、揮発性記憶器、不揮発性記憶器又は他の適切な装置のうちの１つ又は複数を含んでも良い。中央処理装置1001は、該記憶器1002に記憶のプログラムを実行することで、情報の記憶又は処理などを実現しても良く。なお、他の部品の機能は、従来に類似したので、ここでは詳しい説明を省略する。電子機器1000の各部品は、専用ハードウェア、ファームウェア、ソフトウェア又はその組み合わせにより実現されても良いが、これらは、すべて、本発明の範囲に属する。
上述の実施例から分かるように、現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し、該差に基づいて、検出された前景ポイントに対してオフセット・マッチングを行うことで、オプティカル・フロー・マッチングの検出の不正確性及び局所振れによる前景検出結果への影響を無くし、前景ポイントと誤って検出された背景ポイントを除去することができ、これにより、正確な前景検出結果を得ることができる。
本発明の実施例は、さらに、画像処理方法を提供し、それは、実施例1の画像処理装置に対応する。図11は、本発明の実施例3の画像処理方法を示す図である。図11に示すように、該方法は、次のようなステップを含む。
ステップ1101：背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、そして該前景マスクに基づいて第一前景領域を確定し；
ステップ1102：オプティカル・フロー・マッチングに基づいて該現在のフレームの画像全体の振れベクトル及び該現在のフレームの画像中の各局所の振れベクトルを検出し；
ステップ1103：該現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し；
ステップ1104：該現在のフレームの画像全体の振れベクトルに基づいて該現在のフレームの画像に対して全域振れ補償を行い；
ステップ1105：該差に基づいて該第一前景領域中のピクセルに対してオフセット・マッチングを行い；
ステップ1106：オフセット・マッチングの結果に基づいて該前景マスクを更新し、そして更新後の前景マスクに基づいて第二前景領域を確定し；
ステップ1107：オフセット・マッチングの結果に基づいて該背景モデルを更新する。
ステップ1102：オプティカル・フロー・マッチングに基づいて該現在のフレームの画像全体の振れベクトル及び該現在のフレームの画像中の各局所の振れベクトルを検出し；
ステップ1103：該現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し；
ステップ1104：該現在のフレームの画像全体の振れベクトルに基づいて該現在のフレームの画像に対して全域振れ補償を行い；
ステップ1105：該差に基づいて該第一前景領域中のピクセルに対してオフセット・マッチングを行い；
ステップ1106：オフセット・マッチングの結果に基づいて該前景マスクを更新し、そして更新後の前景マスクに基づいて第二前景領域を確定し；
ステップ1107：オフセット・マッチングの結果に基づいて該背景モデルを更新する。
本実施例では、ステップ1103及びステップ1104は、同時に実行することができ、又は、先後に従って実行することができ、本発明の実施例は、ステップ1103及びステップ1104の実行順序について限定しない。
本実施例では、上述の各ステップの具体的な実現方法は、実施例1中の記載と同じであり、ここでは重複説明を省略する。
上述の実施例から分かるように、現在のフレームの画像全体の振れベクトルと、各局所の振れベクトルとの差を計算し、そして該差に基づいて、検出された前景ポイントに対してオフセット・マッチングを行うことで、オプティカル・フロー・マッチングの検出の不正確性及び局所振れによる前景検出結果への影響を無くし、前景ポイントと誤って検出された背景ポイントを除去することができ、これにより、正確な前景検出結果を得ることができる。
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、画像処理装置又は電子機器中で前記プログラムを実行する時に、前記プログラムは、コンピュータに、前記画像処理装置又は電子機器中で実施例3に記載の画像処理方法を実行させる。
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、コンピュータに、画像処理装置又は電子機器中執で実施例3に記載の画像処理方法を実行させる。
また、本発明の実施例による装置及び方法は、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。また、本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶するための記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。
また、上述の各実施例に関し、さらに次のような付記を開示する。
（付記1）
画像処理装置であって、
背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、前記前景マスクに基づいて第一前景領域を確定するための第一前景検出ユニット；
オプティカル・フロー・マッチングに基づいて前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを検出するための振れ検出ユニット；
前記現在のフレームの画像全体の振れベクトルと、前記各局所の振れベクトルとの差を計算するための計算ユニット；
前記現在のフレームの画像全体の振れベクトルに基づいて前記現在のフレームの画像に対して全域振れ補償を行うための振れ補償ユニット；
前記差に基づいて前記第一前景領域中のピクセルに対してオフセット・マッチングを行うためのオフセットマッチングユニット；及び
前記オフセット・マッチングの結果に基づいて前記前景マスクを更新し、更新後の前景マスクに基づいて第二前景領域を確定するための第二前景検出ユニットを含む、装置。
画像処理装置であって、
背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、前記前景マスクに基づいて第一前景領域を確定するための第一前景検出ユニット；
オプティカル・フロー・マッチングに基づいて前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを検出するための振れ検出ユニット；
前記現在のフレームの画像全体の振れベクトルと、前記各局所の振れベクトルとの差を計算するための計算ユニット；
前記現在のフレームの画像全体の振れベクトルに基づいて前記現在のフレームの画像に対して全域振れ補償を行うための振れ補償ユニット；
前記差に基づいて前記第一前景領域中のピクセルに対してオフセット・マッチングを行うためのオフセットマッチングユニット；及び
前記オフセット・マッチングの結果に基づいて前記前景マスクを更新し、更新後の前景マスクに基づいて第二前景領域を確定するための第二前景検出ユニットを含む、装置。
（付記2）
付記1に記載の装置であって、
前記振れ検出ユニットは、
前記現在のフレームの画像のうちから複数の特徴点を抽出するための抽出ユニット；
各前記特徴点の重みを確定するための確定ユニット；及び
オプティカル・フロー・マッチング及び各前記特徴点の重みに基づいてクラスタリングを行い、前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを得るためのクラスタリングユニットを含む、装置。
付記1に記載の装置であって、
前記振れ検出ユニットは、
前記現在のフレームの画像のうちから複数の特徴点を抽出するための抽出ユニット；
各前記特徴点の重みを確定するための確定ユニット；及び
オプティカル・フロー・マッチング及び各前記特徴点の重みに基づいてクラスタリングを行い、前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを得るためのクラスタリングユニットを含む、装置。
（付記3）
付記2に記載の装置であって、
前記確定ユニットは、
各前記特徴点の所在位置のピクセルが前記現在のフレームの画像の前の所定数量のフレーム画像において前景ポイント又は背景ポイント又はマッチング錯誤と検出された割合を統計するための統計ユニット；及び
前記割合に基づいて前記現在のフレームの画像中の各前記特徴点の重みを確定するための第一確定ユニットを含む、装置。
付記2に記載の装置であって、
前記確定ユニットは、
各前記特徴点の所在位置のピクセルが前記現在のフレームの画像の前の所定数量のフレーム画像において前景ポイント又は背景ポイント又はマッチング錯誤と検出された割合を統計するための統計ユニット；及び
前記割合に基づいて前記現在のフレームの画像中の各前記特徴点の重みを確定するための第一確定ユニットを含む、装置。
（付記4）
付記3に記載の装置であって、
前記第一確定ユニットは、
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が30%～70%、背景ポイントと検出された割合が30%～70%のとき、前記特徴点の重みを3と確定するための第二確定ユニット；
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が70%～100%、背景ポイントと検出された割合が0%～30%のとき、前記特徴点の重みを2と確定するための第三確定ユニット；
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が0%～30%、背景ポイントと検出された割合が70%～100%のとき、前記特徴点の重みを1と確定するための第四確定ユニット；及び
前記特徴点の所在位置のピクセルが前記所定数量のフレームの画像においてマッチング錯誤と検出された回数が2よりも大きいとき、前記特徴点の重みを0と確定するための第五確定ユニットを含む、装置。
付記3に記載の装置であって、
前記第一確定ユニットは、
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が30%～70%、背景ポイントと検出された割合が30%～70%のとき、前記特徴点の重みを3と確定するための第二確定ユニット；
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が70%～100%、背景ポイントと検出された割合が0%～30%のとき、前記特徴点の重みを2と確定するための第三確定ユニット；
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が0%～30%、背景ポイントと検出された割合が70%～100%のとき、前記特徴点の重みを1と確定するための第四確定ユニット；及び
前記特徴点の所在位置のピクセルが前記所定数量のフレームの画像においてマッチング錯誤と検出された回数が2よりも大きいとき、前記特徴点の重みを0と確定するための第五確定ユニットを含む、装置。
（付記5）
付記1に記載の装置であって、
前記オフセット・マッチングの結果に基づいて前記背景モデルを更新するための更新ユニットをさらに含む、装置。
付記1に記載の装置であって、
前記オフセット・マッチングの結果に基づいて前記背景モデルを更新するための更新ユニットをさらに含む、装置。
（付記6）
付記5に記載の装置であって、
前記更新ユニットは、
各背景ポイントの背景モデルについて、第一確率で該背景モデルを前記現在のフレームの画像の前記背景ポイントの所在位置の背景モデル及び前記背景ポイントのオフセット後の所在位置の背景モデルに更新するための第一更新ユニット；及び
前記第一前景領域に含まれるが、前記第二前景領域に含まれない各ピクセルの背景モデルについて、第二確率で該背景モデルを前記現在のフレームの画像の前記ピクセルのオフセット後の所在位置の背景モデルに更新するための第二更新ユニットを含む、装置。
付記5に記載の装置であって、
前記更新ユニットは、
各背景ポイントの背景モデルについて、第一確率で該背景モデルを前記現在のフレームの画像の前記背景ポイントの所在位置の背景モデル及び前記背景ポイントのオフセット後の所在位置の背景モデルに更新するための第一更新ユニット；及び
前記第一前景領域に含まれるが、前記第二前景領域に含まれない各ピクセルの背景モデルについて、第二確率で該背景モデルを前記現在のフレームの画像の前記ピクセルのオフセット後の所在位置の背景モデルに更新するための第二更新ユニットを含む、装置。
（付記7）
付記1～6のうちの任意の１項に記載の装置を含む、電子機器。
付記1～6のうちの任意の１項に記載の装置を含む、電子機器。
（付記8）
画像処理方法であって、
背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、前記前景マスクに基づいて第一前景領域を確定し；
オプティカル・フロー・マッチングに基づいて前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを検出し；
前記現在のフレームの画像全体の振れベクトルと、前記各局所の振れベクトルとの差を計算し；
前記現在のフレームの画像全体の振れベクトルに基づいて前記現在のフレームの画像に対して全域振れ補償を行い；
前記差に基づいて前記第一前景領域中のピクセルに対してオフセット・マッチングを行い；及び
前記オフセット・マッチングの結果に基づいて前記前景マスクを更新し、更新後の前景マスクに基づいて第二前景領域を確定することを含む、方法。
画像処理方法であって、
背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、前記前景マスクに基づいて第一前景領域を確定し；
オプティカル・フロー・マッチングに基づいて前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを検出し；
前記現在のフレームの画像全体の振れベクトルと、前記各局所の振れベクトルとの差を計算し；
前記現在のフレームの画像全体の振れベクトルに基づいて前記現在のフレームの画像に対して全域振れ補償を行い；
前記差に基づいて前記第一前景領域中のピクセルに対してオフセット・マッチングを行い；及び
前記オフセット・マッチングの結果に基づいて前記前景マスクを更新し、更新後の前景マスクに基づいて第二前景領域を確定することを含む、方法。
（付記9）
付記8に記載の方法であって、
オプティカル・フロー・マッチングに基づいて前記現在のフレームの画像全体の振れベクトルを検出することは、
前記現在のフレームの画像のうちから複数の特徴点を抽出し；
各前記特徴点の重みを確定し；及び
オプティカル・フロー・マッチング及び各前記特徴点の重みに基づいてクラスタリングを行い、前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを得ることを含む、方法。
付記8に記載の方法であって、
オプティカル・フロー・マッチングに基づいて前記現在のフレームの画像全体の振れベクトルを検出することは、
前記現在のフレームの画像のうちから複数の特徴点を抽出し；
各前記特徴点の重みを確定し；及び
オプティカル・フロー・マッチング及び各前記特徴点の重みに基づいてクラスタリングを行い、前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを得ることを含む、方法。
（付記10）
付記9に記載の方法であって、
各前記特徴点の重みを確定することは、
各前記特徴点の所在位置のピクセルが前記現在のフレームの画像の前の所定数量のフレームの画像において前景ポイント又は背景ポイント又はマッチング錯誤と検出された割合を統計し；及び
前記割合に基づいて前記現在のフレームの画像中の各前記特徴点の重みを確定することを含む、方法。
付記9に記載の方法であって、
各前記特徴点の重みを確定することは、
各前記特徴点の所在位置のピクセルが前記現在のフレームの画像の前の所定数量のフレームの画像において前景ポイント又は背景ポイント又はマッチング錯誤と検出された割合を統計し；及び
前記割合に基づいて前記現在のフレームの画像中の各前記特徴点の重みを確定することを含む、方法。
（付記11）
付記10に記載の方法であって、
前記割合に基づいて前記現在のフレームの画像中の各特徴点の重みを確定することは、
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が30%～70%、背景ポイントと検出された割合が30%～70%のとき、前記特徴点の重みを3と確定し；
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が70%～100%、背景ポイントと検出された割合が0%～30%のとき、前記特徴点の重みを2と確定し；
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が0%～30%、背景ポイントと検出された割合が70%～100%のとき、前記特徴点の重みを1と確定し；及び
前記特徴点の所在位置のピクセルが前記所定数量のフレームの画像においてマッチング錯誤と検出された回数が2よりも大きいとき、前記特徴点の重みを0と確定することを含む、方法。
付記10に記載の方法であって、
前記割合に基づいて前記現在のフレームの画像中の各特徴点の重みを確定することは、
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が30%～70%、背景ポイントと検出された割合が30%～70%のとき、前記特徴点の重みを3と確定し；
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が70%～100%、背景ポイントと検出された割合が0%～30%のとき、前記特徴点の重みを2と確定し；
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が0%～30%、背景ポイントと検出された割合が70%～100%のとき、前記特徴点の重みを1と確定し；及び
前記特徴点の所在位置のピクセルが前記所定数量のフレームの画像においてマッチング錯誤と検出された回数が2よりも大きいとき、前記特徴点の重みを0と確定することを含む、方法。
（付記12）
付記8に記載の方法であって、
前記オフセット・マッチングの結果に基づいて前記背景モデルを更新することをさらに含む、方法。
付記8に記載の方法であって、
前記オフセット・マッチングの結果に基づいて前記背景モデルを更新することをさらに含む、方法。
（付記13）
付記12に記載の方法であって、
前記オフセット・マッチングの結果に基づいて前記背景モデルを更新することは、
各背景ポイントの背景モデルについて、第一確率で該背景モデルを前記現在のフレームの画像の前記背景ポイントの所在位置の背景モデル及び／又は該背景ポイントのオフセット後の所在位置の背景モデルに更新し；及び
前記第一前景領域に含まれるが、前記第二前景領域に含まれない各前景ポイントの背景モデルについて、第二確率で該背景モデルを前記現在のフレームの画像の前記前景ポイントのオフセット後の所在位置の背景モデルに更新することを含む、方法。
付記12に記載の方法であって、
前記オフセット・マッチングの結果に基づいて前記背景モデルを更新することは、
各背景ポイントの背景モデルについて、第一確率で該背景モデルを前記現在のフレームの画像の前記背景ポイントの所在位置の背景モデル及び／又は該背景ポイントのオフセット後の所在位置の背景モデルに更新し；及び
前記第一前景領域に含まれるが、前記第二前景領域に含まれない各前景ポイントの背景モデルについて、第二確率で該背景モデルを前記現在のフレームの画像の前記前景ポイントのオフセット後の所在位置の背景モデルに更新することを含む、方法。
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
Claims (10)
- 画像処理装置であって、
背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、前記前景マスクに基づいて第一前景領域を確定するための第一前景検出ユニット；
オプティカル・フロー・マッチングに基づいて前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを検出するための振れ検出ユニット；
前記現在のフレームの画像全体の振れベクトルと、前記各局所の振れベクトルとの差を計算するための計算ユニット；
前記現在のフレームの画像全体の振れベクトルに基づいて前記現在のフレームの画像に対して全域振れ補償を行うための振れ補償ユニット；
前記差に基づいて前記第一前景領域中のピクセルに対してオフセット・マッチングを行うためのオフセットマッチングユニット；及び
前記オフセット・マッチングの結果に基づいて前記前景マスクを更新し、更新後の前景マスクに基づいて第二前景領域を確定するための第二前景検出ユニットを含む、装置。 - 請求項1に記載の装置であって、
前記振れ検出ユニットは、
前記現在のフレームの画像のうちから複数の特徴点を抽出するための抽出ユニット；
各前記特徴点の重みを確定するための確定ユニット；及び
オプティカル・フロー・マッチング及び各前記特徴点の重みに基づいてクラスタリングを行い、前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを得るためのクラスタリングユニットを含む、装置。 - 請求項2に記載の装置であって、
前記確定ユニットは、
各前記特徴点の所在位置のピクセルが前記現在のフレームの画像の前の所定数量のフレーム画像において前景ポイント又は背景ポイント又はマッチング錯誤と検出された割合を統計するための統計ユニット；及び
前記割合に基づいて前記現在のフレームの画像中の各前記特徴点の重みを確定するための第一確定ユニットを含む、装置。 - 請求項3に記載の装置であって、
前記第一確定ユニットは、
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が30%～70%、背景ポイントと検出された割合が30%～70%のとき、前記特徴点の重みを3と確定するための第二確定ユニット；
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が70%～100%、背景ポイントと検出された割合が0%～30%のとき、前記特徴点の重みを2と確定するための第三確定ユニット；
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像において前景ポイントと検出された割合が0%～30%、背景ポイントと検出された割合が70%～100%のとき、前記特徴点の重みを1と確定するための第四確定ユニット；及び
前記特徴点の所在位置のピクセルが、前記所定数量のフレームの画像においてマッチング錯誤と検出された回数が2よりも大きいとき、前記特徴点の重みを0と確定するための第五確定ユニットを含む、装置。 - 請求項1に記載の装置であって、
前記オフセット・マッチングの結果に基づいて前記背景モデルを更新するための更新ユニットをさらに含む、装置。 - 請求項5に記載の装置であって、
前記更新ユニットは、
各背景ポイントの背景モデルについて、第一確率で該背景モデルを前記現在のフレームの画像の前記背景ポイントの所在位置の背景モデル又は前記背景ポイントのオフセット後の所在位置の背景モデルに更新するための第一更新ユニット；及び
前記第一前景領域に含まれるが、前記第二前景領域に含まれない各ピクセルの背景モデルについて、第二確率で該背景モデルを前記現在のフレームの画像の前記ピクセルのオフセット後の所在位置の背景モデルに更新するための第二更新ユニットを含む、装置。 - 請求項1～6のうちの任意の１項に記載の装置を含む、電子機器。
- 画像処理方法であって、
背景モデルに基づいて入力ビデオの現在のフレームの画像の前景マスクを抽出し、前記前景マスクに基づいて第一前景領域を確定し；
オプティカル・フロー・マッチングに基づいて前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを検出し；
前記現在のフレームの画像全体の振れベクトルと、前記各局所の振れベクトルとの差を計算し；
前記現在のフレームの画像全体の振れベクトルに基づいて前記現在のフレームの画像に対して全域振れ補償を行い；
前記差に基づいて前記第一前景領域中のピクセルに対してオフセット・マッチングを行い；及び
前記オフセット・マッチングの結果に基づいて前記前景マスクを更新し、更新後の前景マスクに基づいて第二前景領域を確定することを含む、方法。 - 請求項8に記載の方法であって、
オプティカル・フロー・マッチングに基づいて前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを検出することは、
前記現在のフレームの画像のうちから複数の特徴点を抽出し；
各前記特徴点の重みを確定し；及び
オプティカル・フロー・マッチング及び各前記特徴点の重みに基づいてクラスタリングを行い、前記現在のフレームの画像全体の振れベクトル及び前記現在のフレームの画像中の各局所の振れベクトルを得ることを含む、方法。 - 請求項9に記載の方法であって、
各前記特徴点の重みを確定することは、
各前記特徴点の所在位置のピクセルが前記現在のフレームの画像の前の所定数量のフレームの画像において前景ポイント又は背景ポイント又はマッチング錯誤と検出された割合を統計し；及び
前記割合に基づいて前記現在のフレームの画像中の各前記特徴点の重みを確定することを含む、方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710574945.8 | 2017-07-14 | ||
| CN201710574945.8A CN109255797B (zh) | 2017-07-14 | 2017-07-14 | 图像处理装置及方法、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019021297A JP2019021297A (ja) | 2019-02-07 |
| JP7014005B2 true JP7014005B2 (ja) | 2022-02-01 |
Family
ID=65051786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018064594A Active JP7014005B2 (ja) | 2017-07-14 | 2018-03-29 | 画像処理装置及び方法、電子機器 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7014005B2 (ja) |
| CN (1) | CN109255797B (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112652021B (zh) * | 2020-12-30 | 2024-04-02 | 深圳云天励飞技术股份有限公司 | 相机偏移检测方法、装置、电子设备及存储介质 |
| CN116259012B (zh) * | 2023-05-16 | 2023-07-28 | 新疆克拉玛依市荣昌有限责任公司 | 嵌入式增压柴油罐的监测系统及其方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008141437A (ja) | 2006-11-30 | 2008-06-19 | Sony Corp | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム |
| JP2008257693A (ja) | 2007-04-05 | 2008-10-23 | Mitsubishi Electric Research Laboratories Inc | シーン中に置き去りにされた物体を検出する方法 |
| CN101854465A (zh) | 2010-02-01 | 2010-10-06 | 杭州海康威视软件有限公司 | 基于光流算法的图像处理方法及装置 |
| JP2012198877A (ja) | 2011-03-22 | 2012-10-18 | Morpho Inc | 動き検出装置、動き検出方法及び動き検出プログラム |
| JP2015111746A (ja) | 2012-04-09 | 2015-06-18 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| JP2016177388A (ja) | 2015-03-18 | 2016-10-06 | 株式会社リコー | 移動体位置姿勢計測装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070047834A1 (en) * | 2005-08-31 | 2007-03-01 | International Business Machines Corporation | Method and apparatus for visual background subtraction with one or more preprocessing modules |
| CN105872370B (zh) * | 2016-03-31 | 2019-01-15 | 深圳力维智联技术有限公司 | 视频去抖动方法和装置 |
-
2017
- 2017-07-14 CN CN201710574945.8A patent/CN109255797B/zh active Active
-
2018
- 2018-03-29 JP JP2018064594A patent/JP7014005B2/ja active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008141437A (ja) | 2006-11-30 | 2008-06-19 | Sony Corp | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム |
| JP2008257693A (ja) | 2007-04-05 | 2008-10-23 | Mitsubishi Electric Research Laboratories Inc | シーン中に置き去りにされた物体を検出する方法 |
| CN101854465A (zh) | 2010-02-01 | 2010-10-06 | 杭州海康威视软件有限公司 | 基于光流算法的图像处理方法及装置 |
| JP2012198877A (ja) | 2011-03-22 | 2012-10-18 | Morpho Inc | 動き検出装置、動き検出方法及び動き検出プログラム |
| JP2015111746A (ja) | 2012-04-09 | 2015-06-18 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| JP2016177388A (ja) | 2015-03-18 | 2016-10-06 | 株式会社リコー | 移動体位置姿勢計測装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109255797B (zh) | 2021-08-06 |
| CN109255797A (zh) | 2019-01-22 |
| JP2019021297A (ja) | 2019-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11164323B2 (en) | Method for obtaining image tracking points and device and storage medium thereof | |
| EP2927873B1 (en) | Image processing apparatus and image processing method | |
| CN111062974B (zh) | 一种使用去除鬼影对前景目标提取的方法及系统 | |
| CN110910421B (zh) | 基于分块表征和可变邻域聚类的弱小运动目标检测方法 | |
| US20110311100A1 (en) | Method, Apparatus and Computer Program Product for Providing Object Tracking Using Template Switching and Feature Adaptation | |
| CN107209942B (zh) | 对象检测方法和图像检索系统 | |
| CN112184759A (zh) | 一种基于视频的运动目标检测与跟踪方法及系统 | |
| US11720745B2 (en) | Detecting occlusion of digital ink | |
| CN108875504B (zh) | 基于神经网络的图像检测方法和图像检测装置 | |
| WO2017135120A1 (en) | Computationally efficient frame rate conversion system | |
| CN111383252A (zh) | 多相机目标追踪方法、系统、装置及存储介质 | |
| JP6110174B2 (ja) | 画像検出装置及び制御プログラム並びに画像検出方法 | |
| JP7014005B2 (ja) | 画像処理装置及び方法、電子機器 | |
| US10475187B2 (en) | Apparatus and method for dividing image into regions | |
| CN113840135B (zh) | 色偏检测方法、装置、设备及存储介质 | |
| CN114674826A (zh) | 基于布匹的视觉检测方法及检测系统 | |
| JP6770363B2 (ja) | 顔方向推定装置及びそのプログラム | |
| KR101853211B1 (ko) | 모바일 gpu 환경에서 차영상 정보를 이용한 sift 알고리즘의 복잡도 감소 기법 | |
| CN113191210A (zh) | 一种图像处理方法、装置及设备 | |
| CN113240611A (zh) | 一种基于图片序列的异物检测方法 | |
| CN107491746B (zh) | 一种基于大梯度像素分析的人脸预筛选方法 | |
| CN111860261A (zh) | 一种客流值的统计方法、装置、设备及介质 | |
| CN112016609A (zh) | 一种图像聚类方法、装置、设备及计算机存储介质 | |
| CN110349183B (zh) | 一种基于kcf的跟踪方法、装置、电子设备及存储介质 | |
| KR101914415B1 (ko) | 반복적 이상 클러스터 제거를 이용한 시각적 돌출 맵 검출 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220103 |