JPWO2015093231A1

JPWO2015093231A1 - 画像処理装置

Info

Publication number: JPWO2015093231A1
Application number: JP2015553443A
Authority: JP
Inventors: 西谷隆夫
Original assignee: 西谷隆夫
Priority date: 2013-12-16
Filing date: 2014-11-25
Publication date: 2017-03-16
Also published as: WO2015093231A1

Abstract

【課題】動画処理装置であり、一般カメラを用いて着用可能なITC端末の動作入力を行うものである。映像中から動くものを抽出する前景分離を用いると影や光の反射によるジェスチャー入力の誤認識が起こる。屋内利用で頻発する影や反射を防ぐ簡易な方法はない。【解決手段】屋内外で影や反射を含まない前景分離を行うため、前景か背景かの判定に使う特徴量として画像を細分化した領域毎の色平均特徴量とし、前景分離には典型的確率分布を複数持つ方法を用いて前景分離する。影および反射の除去は、典型的な確率分布の性質と特徴量の要素から排除する簡便な方法を提供する。

Description

本発明は画像処理装置に関する。本発明は特に、一般のカメラを用いたIT装置に関するジェスチャー入力技術に属する。

映像による監視やジェスチャー入力システムでは影などの実体がない部分が動きのある映像として現れると障害になる。この分野では、すでにマイクロソフト社は自社のゲーム機のジェスチャー入力システムとして赤外線カメラを用いたKinectを発売しており、有名になっている。これは赤外線カメラによる対象物の温度を感じて人物を抽出する。影領域などは背景領域に投射されるため、体温より低い。このため、影領域は赤外線カメラには反応しない。ただし、熱源や赤外線の多い場所での使用は考慮されていない。このため、Kinectは屋外では使用できない。さらに、屋内でも、熱源がある台所やペット動物が室内にいる場合は使いづらい。

一般の単眼カメラからの映像による動きのある部分を動かない部分から区別して抽出する技術は前景分離と言われ、監視カメラなどに使われている。しかし、映像中に動きのあるものは本来検出したい前景とともに、前景物体により背景に投影された影領域がある場合や、カメラ視野外からの反射光がカメラ視野に入り、かつ、反射光が途中で時々遮られて変動すると、前景として検出される。特に反射に関しては、電気スタンドをつけるような環境で顕著になる。このため、正確なジェスチャー入力を行うには前景分離から影や反射の領域を排除する必要がある。このような影や反射の影響を除去する方法は、前景分離と独立した画像処理技術として扱うことが多い。ただし、前景分離も影除去および反射除去も多大な演算量が必要になるのが一般的である。このため、多大な演算量に起因して装置の発熱量も大きく、ウェアラブル端末などに活用するには困難が伴う。

しかし、前景分離に用いるパラメータを有効活用することで影除去の演算量を大幅に軽減する方法が近年登場している。この方法の詳細は非特許文献１に詳しい。この方法は前景分離に用いる途中結果を影除去に活用する。ここで用いる前景分離はカメラからのフレーム画像を小さな領域に分割し、この分割した小領域毎に前景か背景かを判断する。続いて、影や反射を含んだ前景領域を除外する。以下、影や反射の影響を含まない領域を真正前景領域と呼び、影や反射の領域を含んだ通常の前景分離を中間前景領域として区別する。

非特許文献１の中間前景から影領域を排除する方法は画像の小領域毎にWalsh直交変換して得られるスペクトルをベースとした中間前景分離を行う。このスペクトルを組み合わせた量の変動を複数のガウス分布を用いて表わす。このような複数のガウス分布を用いた前景検出のためのモデルを混合ガウスモデルと呼び、モデルへの入力とする特徴量はスペクトルの組み合わせによって作る複数個の特徴量要素から構成する。また、個々のガウス分布の平均と分散、および、どの程度の頻度で各々のガウス分布が貢献しているかを示す重み係数（以下これらをガウス分布係数と呼ぶ）をフレーム毎の小領域特徴量要素の値に応じて適応的に修正する。大きな重み係数を持つガウス分布は動きがないため背景ガウス分布となる。一方、前景となるガウス分布は前景物体がすぐにその領域から離れるため、小さい重みを持ち前景ガウス分布となる。新しいフレームの同じ小領域の位置における特徴量要素が入力され、その特徴量要素が1フレーム前に更新された背景ガウス分布に包含されたら背景、前景ガウス分布に包含されたら前景とする。また、前景ガウス分布と背景ガウス分布の決定は重み係数を大きいもの順に並べて決定する。当然、特徴量要素が既存ガウス分布に含まれない場合もあり、この場合は入力特徴量を平均とした初期ガウス分布を生成し、既存ガウス分布の中で最も小さい重み係数を持つガウス分布をモデルから除外する。この場合はこの小領域は前景である。ここでガウス分布に包含されるという表現は、ガウス分布が平均μと分散σ^２を持つ時、このガウス分布に従う事象は平均μの周りの±３σ以内に起こる確率が99.8％となることから来ている。分散で用いた記号σ＾２とは標準偏差σの2乗を表す。一般には平均の周りの2.5σの区間をガウス分布に含まれる区間とすることが多い。

非特許文献1の方法では特徴量は３個の要素から構成される。小領域の輝度信号をまず2次元Walsh関数により、2次元Walshスペクトル係数に変換する。小領域の平均の明るさとなる縦横方向の最低スペクトル係数f(DC)と、横方向は最低次数で縦方向の複数の低域スペクトル係数を重みづけ加算したf(ACV)、および縦方向は最低次数で横方向の低域スペクトル係数を重みづけ加算したf(ACH)を特徴量要素として用いる。この各々に対して混合ガウスモデルを構築して前景分離作業を行う。特徴量要素が1個でも前景となるとその小領域は前景小領域とする。Walsh変換するのは屋外映像などは遥かな遠景までカメラ視野に入るため、林やビル群などに起因する高い空間周波数を多く含むためである。

また、非特許文献１では分割小領域の縦横サイズを順次2倍に拡大して再び前景分離を行う多重解像度処理を用いている。これは混合ガウスモデルによる中間前景分離では小領域ごとに独立した処理を行うため、隣接小領域が少しのノイズで隣接領域と無関係に前景判定を行う状況を防ぐものである。多重解像度分割における中間前景分離は最小の分割小領域が前景判定であっても、その小領域を含む全ての大きな分割小領域が前景となる場合のみ中間前景領域部とするので、隣接する小領域間の安定性を確保できる。

以上の、１フレーム画像を多重解像度分割し、領域ごとに上記の特徴量要素f(DC), f(ACH), f(ACV)を生成するまでの具体的な回路と、全ての領域の特徴量による中間前景分離までを行う回路は非特許文献２に詳しい。そこでは双方の回路をFPGA(フィールドプログラマブルゲートアレー)1個の中に組み込み、HDTVビデオを扱う場合でも30mWの消費電力で実現している。消費電力が小さいということは演算量の軽い前景分離法であることを示す。この非特許文献２では入力ビデオフレームからフレーム画像を覆う4x4画素から64x64画素の領域サイズの特徴量計算を順次計算する機能プロセッサをWPP(Walsh transform based Parameter processor)、また、WPPで生成された特徴量から中間前景分離までを行う機能プロセッサをGTP(Gaussian mixture model Thread Processor) として論じている。

非特許文献１の影除去法の原理は、中間前景分離に用いた背景ガウス分布を影除去に活用することにあり、従来法の影除去に比べ１桁以下の低演算量化に成功している。この方法は、影によって背景領域が前景となるのは特徴量要素が本来あるべき背景ガウス分布の包含区間から逸脱した結果と考える。また、特徴量の各要素は線形演算により求めるため、影により各特徴量要素の値も一様に小さくなる。このため、ある特徴量要素の影による減衰量が推定できると、その逆数を他の特徴要素に乗じることで、乗じられた特徴量要素は本来あるべき背景ガウス分布の包含範囲に戻る。この方法で小領域が影と判断できると、この小領域を中間前景領域から除くことで真正前景分離を実現する。

減衰量を推定するには特徴量要素として最低変換スペクトルであるf(DC)とその要素の背景ガウス分布の平均から求める。f(DC)はその領域の平均の明るさを表すので常にある程度大きな値を持つため、演算精度の観点から基準特徴量要素としている。複数の背景ガウス分布がある場合は、それ等全ての可能性を考えて繰り返し処理することになる。

減衰量が求まった後、影領域を見つける方法は非特許文献１を基にして描いた影領域検出の原理図4で説明できる。図４は、前景時のf(DC)要素グラフ401、他の特徴量要素グラフ402、影検証グラフ403のサブグラフから構成されている。これ等3個のサブグラフはともに、横軸に特徴量要素のダイナミックレンジ内の大きさを示し、右に行くほど大きい値となる。また、縦軸は発生確率を示している。曲線で上に盛り上がった印は本来f(DC)を含むべき背景ガウス分布である。また、サブグラフに書かれた下向き実線矢印は特徴量要素の値を横軸に合わせて示している。また、グラフ402、グラフ403で記述したf(AC)とはf(ACH)にもf(ACV）にも当てはまるので、双方の代表としてf(AC)でまとめている。

前景時のf(DC)特徴量要素グラフ401は影により前景となる場合を示しており、特徴量f(DC)の要素と本来f(DC)を含むべき背景ガウス分布を示している。f(DC)は影の影響でこの背景ガウス分布から逸脱している。このため、中間前景分離では前景となる。グラフ401からも理解できようが、ガウス分布の平均μDCをf(DC)で割ったものは減衰量の逆数となり、これを修正係数Aと呼ぶ。影領域グラフ401に示すように、特徴量要素f(DC)が背景ガウス分布の包含領域より小さい。このような小領域があると中間前景領域になり、影候補になる。ついで、この影候補の小領域における他の特徴量要素グラフ402、影検証グラフ403を用いて影領域であることを検証する。グラフ402はf(DC)とは異なる特徴量要素f(AC)でも影の影響で減衰して前景となる例である。この小領域が影であればf(AC)はf(DC)と同じ比率で減衰しているはずである。影検証グラフ403 は影領域かどうかの検証を行う原理図である。f(AC)は下向き点線矢印で示す。f(AC)に先に求めた修正係数Aを乗じた結果を下向き実践矢印で示している。つまり、この小領域が真の影領域であれば修正されたf(AC)は本来包含されている背景ガウス分布内に戻る。よって、このような場合はf(DC)とf(AC)は一様に減衰していると考えられ、影領域であるとする。

この影除去法ではすでに中間前景分離で算出した特徴量要素と背景ガウス分布が使える。つまり、チェックに当たって特徴量要素であるf(DC)が背景ガウス分布の平均より小さくなる背景分布だけを対象に、この影領域候補に対してグラフ402、および403の順序で影の検証をすればよい。

以上は屋外の監視用のシナリオである。しかし、屋内の廊下などで壁が背景に来ると、屋外監視と比べ近い背景範囲となるため問題を発生する。この状態で廊下の壁などの背景画像領域を小領域に分割してWalsh変換すると、ほとんど高周スペクトル成分は観測できない。このため、影領域検出の原理図4のグラフ402, 403で用いた他の特徴量要素が有意な値を持たない。よって、非特許文献１では廊下での前景分離を行うには、レティネックス画像強調という演算量の重い処理を前処理として導入し、高スペクトル成分を強化している。ただし、この画像強調だけで前景分離以上の演算量を必要とする。影除去で大幅な演算量削減ができる非特許文献１の効果はこのレティネックス画像処理の導入で半減することになる。

動作入力の一つである指先ジェスチャー入力システムも屋内では同様の問題が起こる。通常の住宅の部屋では壁や家具があり、やはり廊下と同じように高次のスペクトル成分がゼロになる。非特許文献1の方法をレティネックス画像強調なしの変換領域前景分離で行った写真例を図5に示す。図5は原画像写真501、変換領域中間前景分離写真502、変換領域影除去写真503の3個の同一フレームの写真からなる。原画像写真501は指先ビデオの１カットを2値化したため、指先は見えないが背景は見える。変換領域中間前景分離写真502は変換領域における混合ガウスモデルによる中間前景分離を行った写真であり、変換領域影除去写真503は非特許文献1でレティネックス画像強調を抜いた出力写真である。変換領域中間前景分離写真502と変換領域影除去写真503の各々で白い部分が中間前景分離領域もしくは影を引き去った真正前景分離領域であり、黒い部分は背景である。折角変換領域中間前景分離写真502のように正しく前景分離ができていても、影除去を行うと変換領域影除去写真503のように輪郭部分だけしか残らない。つまり、レティネックス画像強調を省くためには他の方策を必要とする。

さらに、一般住宅の部屋はあまり広くない。このような場所にテレビや食器棚のような反射性の強い家具がある。この状況で室内ライトなどの照明器具を用いると、食器棚のガラス等からの反射光がカメラ視野に入る。さらに、カメラを身に着けた場合を考える。ユーザの体がこの反射光を動的に遮ると、反射領域の急激な変化が起こり前景になる。ただし、反射の写り込みは人の視力では見えにくく、中間前景分離を行って初めてわかるものである。

T.Shiota, K.Nakagami, and T.Nishitani, "Transform Domain Shadow Removal forForeground Silhouette", IEICE Trans. Vol. E96-A. No.3, pp667-674, March 2013. R. Yagi, T. Kajimoto and T. Nishitani,"GMM foreground Segmentation Processor based on Address Free Pixel Streams", Proceedings of IEEE ICASSP’2012 pp.1653-1656, March 2012.

本発明は、影および反射領域を除去した屋内外環境での真正前景分離を簡単な後処理で行う装置を提供する。

本発明は、以上の課題を解決するために以下の各発明を提供する。

１．カメラからの入力フレームを小領域に分割し、小領域内での色成分の平均を求めた色平均成分信号を特徴量の要素とするステップと、特徴量の各要素の確率的な変動に合わせて１個ないし複数の典型的な確率分布で小領域をモデル化しながら特徴量との比較により中間前景小領域を抽出するステップと、特徴量要素と背景確率分布の平均と分散により抽出された中間前景領域が影もしくは反射になった領域を特定して排除し真正前景領域を得るステップからなり、影もしくは反射による前景部分を含まない真正前景領域を抽出することを特徴とする画像処理装置である。

上記の方法では、典型的確率分布としてガウス分布を考えると、混合ガウスモデルを用いた中間前景分離から影と反射を取り除いた真正前景分離を得る方法であり、従来例のような複雑な画像強調に代わり中間前景分離の途中結果を用いて真正前景分離結果を抽出する。画面を小領域に分割して高次の空間スペクトルが全て得られない状況でも、これまでの変換領域の特徴量を小領域毎の平均色成分に変更することで解決する。３原色の少なくとも２色の要素が有意な値を持つ可能性が高いことを用いる。また、混合ガウスモデルによる前景分離が不安定になるのは高精細ビデオで画素単位や2x2画素等の特徴量を用いた場合に顕著になるが、この方法は4x4画素以上の小領域単位でカラー信号の平均値を用いて実行する。このため、領域の大きさにも依存するものの、ノイズ等の影響は軽減され、安定性は増す。また、典型的な確率分布としてはラプラス分布などでも良い。演算量削減になる理由は非特許文献１の方法で前処理として行う画像強調処理の演算がそっくりなくなることと、変換領域スペクトルの演算が不要になる。

２．特徴量の要素毎にその変動の確率分布を複数の典型的な確率分布で近似し、前景をモデル化している典型的確率分布と背景をモデル化している典型的確率分布に区別して用い、特徴量の要素が１個でも前景をモデル化している典型的確率分布に包含される場合を中間前景小領域とする上記1記載の中間前景分離を抽出するステップと中間小領域になった前景分離特徴量の要素の最大のものを基準要素として選択するステップと、基準要素に割り当てられた各々の背景を表す典型的確率分布の平均を基準要素の値で割った修正係数を求めるステップと、それぞれの修正係数を基準要素でない特徴量要素の値に乗じた値がその特徴量要素の背景を表す確率分布のいずれかに包含される場合を影または反射による中間前景小領域とみなして中間前景領域からから排除することで真正前景領域を作るステップからなる上記１記載の影/反射領域を排除した真正中間領域を抽出する画像処理装置。

この方法に基づく装置では非特許文献１で扱った屋外における効率的な影除去法を小領域の特徴量要素を小領域の色平均とし、影除去と反射除去を実行できるように拡張したものである。この原理は典型的確率分布をガウス分布とした場合、以下に示す影と反射を検出する原理説明図6に基づく。

影と反射を検出する原理説明図6は基準特徴量要素の影領域グラフ601、影領域の他の特徴量要素グラフ602、影検証グラフ603、基準特徴量要素の反射領域グラフ604、反射領域の他特徴量要素グラフ605、反射検証グラフ606 の6個のサブグラフからなっている。横軸、縦軸、盛り上がったカーブ、矢印は影領域検出の原理図4と同じ意味である。影と反射を検出する原理説明図6の基準特徴量要素の影領域グラフ601、影領域の他特徴量要素グラフ602、影検証時グラフ603は特徴量要素が色平均となり、影領域検出の原理図4のf(DC)要素の影領域グラフ401、他の特徴量要素グラフ402、影検証グラフ403を色平均特徴量要素に変えたものである。ただし、影領域検出の原理図４では特徴量f(DC)が重要な役割をしているのに対し、影と反射を検出する原理図6は特徴量要素の中で最大値をとるf(N)がf(DC)の役割を担っている。特徴量要素の最大値の代わりにある程度大きな値を持つ特徴量要素を基準要素にしても良い。また、影と反射を検出する原理図６では、典型的な背景ガウス分布の平均をμDCに換えて基準特徴量要素の背景ガウス分布の平均μNとしている。つまり、影領域の原理図4の減衰量の逆数である修正係数AはμDCをf(DC)で割った値であったが、色平均特徴量要素を用いる場合はμNをf(N)で割った値に代え、それ以外は影領域の原理図4と同じであるため、影除去に関する説明を省く。

一方、反射除去は基準特徴量要素の反射領域グラフ604、反射領域の他特徴量要素グラフ605、反射検証グラフ606に描いている。基準特徴量要素の増幅における修正係数Aは影の場合と同様μNをf(N)で割った修正係数となり、演算自体は影除去の場合と同じになる。ここで、カメラ視野外からの反射光による影響は、反射領域特徴量の各要素を一様に増幅すると考える。基準特徴量要素の反射領域グラフ604では、反射による中間前景領域は、本来、グラフ604中の背景ガウス分布に含まれていたf(N)が、反射光の影響でこの背景ガウス分布の包含領域より明るくなってしまうことに起因する。反射領域の他特徴量要素グラフ605も同様である。反射検証グラフ606は反射領域の他特徴量要素グラフ605の特徴量要素に修正係数Aを乗じることで背景分布の包含領域に戻る場合を示しており、この場合は反射領域と判断する。

なお、修正係数としてAを用いたが、数学的に等価な処理に従う別の計算法、例えば影の場合は基準特徴量要素を背系ガウス分布の平均で割った減衰量を求め、また、反射の場合は増幅量を求め、影の場合は背景ガウス分布の平均に減衰量を乗じて特徴量要素と比較し、反射の場合は背景ガウス分布の平均に増幅量を乗じて特徴量と比較するなどの方法も本発明の一部である。

３．フレーム画像をオーバラップしない小領域にまず分割し、次いでメッシュ状に並んだ小領域の縦横ともに2倍に拡大して先に分割した小領域を４個含む拡大小領域で画面を覆う分割操作を行い、この拡大小領域を作成する分割を複数回繰り返すことで多重分割するステップと、多重分割された各小領域で中間前景分離を行うステップと、小領域分割部の中間前景分離から影/反射領域除去を行なって影/反射なし前景領域とするステップと、影/反射なし最小前景領域であって、この影/反射なし最小前景小領域を包含する全ての拡大領域が影/反射なし前景領域または中間前景小領域であるものを真正前景小領域とすることで最終的な真正前景分離を行う上記１の画像処理装置である。

この方法に基づく装置は特徴量をカラーの平均ベースにしたため、屋外での利用までを考慮すると安定性を増加させる必要がある。高精細画像など精度が高い映像の処理で起こりやすい現象として、小さい前景領域だけで前景分離するとノイズによる誤判定で中間前景になりやすい。このような結果を抑制するのが多重解像度分割した拡大領域の中間前景の判定である。これは、拡大領域の中間前景結果を用いて拡大領域が中間前景でない場合は小さい領域が真正前景結果であっても抑圧する多重解像度処理を次のように改める。

影や反射は小分割した領域内では一様な減衰や増幅が行われるという条件で影や反射の検証を行っている。このため、影や反射除去は分割領域が小さい場合に限る方が特徴量要素の各々が一様な変化が起こるという仮定を守りやすい。このため、影や反射除去は小さい分割領域だけで行う。小さい分割領域が影や反射の検証により真正背景になると、それ以上大きな分割で中間前景判定であれば良いとする。

４．上記３において中間前景領域から反射による中間前景部のみを排除する場合は、上記3の基準特徴量要素の求め方により求めた基準特徴量要素が背景確率分布の平均より大きい典型的背景確率分布からのみ修正係数を求める手段と、基準特徴量以外の特徴量要素に修正係数を乗じる手段と、乗じられた特徴量要素がその特徴量要素の背景確率分布に包含される中間前景小領域を排除して真正前景分離を行う画像処理装置。

この方法は、典型的確率分布をガウス分布としたとき、反射領域を影領域よりも安定して抽出したい場合に対応し、ある小領域区間で影除去を行わないが反射除去を実行した場合や、反射が支配的な場合は影除去を使わない場合もある。このような反射領域だけを排除する場合に基準特徴量要素の値が背景ガウス分布の平均より高い背景ガウス分布のみを用いて処理する。処理の方法は色特徴量を用いた原理説明図6の基準要素の反射領域グラフ604、反射領域の他特徴量要素グラフ605、反射検証グラフ606で示した反射除去プロセスだけを実行するので演算量をほぼ半分にできる。

５．上記３において中間前景領域から影による中間前景部のみを排除する場合は、上記3の基準特徴量要素の求め方により求めた基準特徴量要素が背景確率分布の平均より小さい典型的背景確率分布からのみ修正係数を求める手段と、基準特徴量以外の特徴量要素に修正係数を乗じる手段と、乗じられた特徴量要素がその特徴量要素の背景確率分布に包含される中間前景小領域を排除して真正前景分離を行う画像処理装置。

この方法は、典型的確率分布をガウス分布としたとき、影領域を反射領域よりも安定して抽出したい場合に対応し、ある小領域処理で反射除去を行わないが影除去だけは実行したい場合や、影が支配的な場合は反射除去を使わない場合もある。このような影領域だけを排除する場合に基準特徴量要素の値が背景ガウス分布の平均より低い背景ガウス分布のみを用いて処理する。処理の方法は色特徴量を用いた原理説明図6の基準要素の影領域グラフ601、影領域の他特徴量要素グラフ602、影検証グラフ603で示した影除去プロセスだけを実行するので演算量をほぼ半分にできる。

６．上記１より５において、基準要素の属する典型的確率分布の重み係数の大きいもの順に並べた典型的背景確率分布と基準外特徴量の重み係数の大きいもの順に並べた典型的背景確率分布との間で、同一順位の典型的背景確率分布のみを用いて影ないし背景に起因する中間前景領域の検証を行って真正前景領域を得る画像処理装置である。

この方法は、典型的確率分布をガウス分布としたとき、影や反射により基準特徴量要素がある背景ガウス分布領域から逸脱して中間前景と判定されても、どの背景ガウス分布から逸脱したかという情報はない。このため、影や反射であることの検証は基準特徴量要素と非基準特徴量要素の全ての背景ガウス分布間で総当たりになるのが普通である。しかし、従来例で詳述したように、混合ガウスモデルにおける背景ガウスと前景ガウスの区分けでは各特徴量要素ともガウス分布の重み係数順に並べて判断する。重み係数はよく利用されるガウス分布ほど大きな値となる。このため、基準特徴量要素と他の特徴量要素の背景ガウスを重み付け係数順に並べると対応するガウス分布同志が影のない場合の背景ガウス分布である場合が多い。このことを利用して検証のために用いる基準特徴量要素の背景ガウスの重み係数の順番と基準外特徴量要素の背景ガウス分布の重み係数の順番を対応させたものだけに影と反射を検出する原理図6を用いて処理を簡単化する。

上記の課題解決手段に従えば、影と反射領域を含まない真正前前景分離を中間前景分離の途中結果を用いて中間前景分離の後処理として実現できる。このため、屋内での真正前景分離を重い処理である画像強調や画像上での反射処理を不要にでき、大幅な演算量削減が可能である。このため、消費電力低減を重要課題とするジェスチャー認識を入力手段とするウェアラブル端末等に活用できる。

一実施形態に係る動画処理システムの一例を示す図である。特徴量多重分割特徴量生成部の一例を示す図である。影/反射領域除去部の動作フローチャートを示す図である。影領域検出の原理図である。レティネックス画像強調なしの変換領域前景分離写真例を示す図である。影と反射を検出する原理図である。影/反射除去法による真正背景分離の流れを示す写真集の図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲の全てが発明の解決手段に必須であるとは限らない。また、以下の実施形態は特許請求の範囲にかかわる発明を限定するものではない。さらに、典型的な分布としてガウス分布を用いて説明するが、これも本発明をガウス分布に限定するものではない。また、図面を簡単化する目的で特徴量要素f(R),f(G),f(B),f(N)など、括弧内に書いたパラメータは図面上では添え字として記述し、それぞれfR, fG, fB, fNのように記述している。

図１は一実施形態にかかわる動画システムの一例を示すものである。本発明の動画システムは、カメラ10、多重分割特徴量生成部20、混合ガウス中間前景処理部30、影/反射領域除去部40、真正前景画像生成部50、からなっている。

カメラ10からの信号はR,G,Bカラー成分ごとに多重分割特徴量生成部20に入力され、カラー成分ごとのフレーム画像をオーバラップしない4ｘ4画素の小領域毎に分割して領域毎にR, G, Bカラー成分の平均をf(R),f(G),f(B)として求め、これ等を特徴量要素として出力する。引き続き、多重分割特徴量生成部20では処理済みの4x4画素の小領域が構成する行と列各々の奇数番目と偶数番目の小領域を統合して8ｘ8画素の拡大小領域とし、この拡大小領域の平均カラーを特徴量要素として出力する操作を行なう。同様に分割領域を拡大して、例えば4ｘ4画素から64ｘ64画素領域までに分割した各小領域のカラー特徴量要素を生成して出力する。この領域毎に求めた3個の特徴量要素は順次混合ガウス中間前景処理部30に送る。この多重解像度分割特徴量生成部20の具体的な構成の詳細は、非特許文献2の混合ガウスモデルによる多重解像度特徴量のLSI化プロセッサアーキテクチャを論じたWalsh Parameter Processorを用いて容易に構成でき、後述する。

多重分割特徴量生成部20からの特徴量は中間前景処理部30で特徴量の要素毎に混合ガウスモデルによる中間前景分離を行う。多重分割特徴量生成部20から新しい小領域の特徴量が入力されると、中間前景処理部30では、この小領域処理のために前フレームで用意した混合ガウスモデルのガウス分布係数を用いて中間前景分離を行ない、各ガウス分布係数を次フレームのために適応的に更新する。この処理は非特許文献２のGauss Thread Processor (GTP) がそのまま使える。ただし、影反射除去のためにこの小領域の現在の特徴量と、更新する前の全ての背景ガウス係数と、中間前景分離の結果が中間前景である場合には中間前景フラグをオン、背景であればオフにして影/反射除去部40に送る。

影/反射領域除去部40では中間前景処理部30より入力された小領域毎の特徴量、中間前景フラグ、背景ガウス分布のガウス分布係数を用いて影や反射による中間前景領域を除去する。除去する前に中間前景フラグの内容を真正前景フラグにまず移す。その小領域が影や反射に起因するものであれば、以下に説明する操作で真正前景フラグを下ろすためである。これにより、中間前景領域から排除する。

影/反射領域除去部40の処理では、まず、カラー平均要素からなる小領域の特徴量のうち、最大の特徴量要素を基準要素にする。これは、修正係数A算出のための割り算の精度が悪くなることを防ぐためである。この基準要素を用いて影と反射を検出する原理図6に従った処理を行う。ただし、小領域が中間前景分離で前景となった場合、その基準要素は背景ガウス分布の領域から逸脱したことは明確でも、基準要素に対する混合ガウスモデル内のどの背景ガウス分布から移動してきたのか解らない。このため、複数個ある背景ガウス分布に対して総当たりで影および反射のチェックを行う。まず、基準要素の最初の背景ガウス分布の平均と現状の基準要素により修正係数Aを定める。次いで、基準要素以外の特徴量要素を一個ずつ選び、それに修正係数Aを乗じた結果がその要素に対応する背景ガウス分布に包含されるかどうかを調べる。背景ガウスに包含されればその小領域は影もしくは反射部に含まれるとして真正前景フラグを下げて、真正前景画像生成部50へ進む。つまり、真正前景フラグがリセットされるので、その小領域はそれまで中間前景の一部であったが背景に戻すことになる。また、修正係数Aを乗じても背景ガウス分布に包含されない場合は基準特徴量用の次のガウス分布を選んで修正係数Aを求め直し、再度チェックすることになる。総当たり方式であるので重い計算ではあるが、各要素に対応するガウス分布の数は典型的には3個ほどであるのでそれほど重い処理にはならない。また、本来は3つの特徴量要素が一様に減衰ないし増幅される筈である。しかし、非特許文献1によると、修正係数Aの値を求めるのに背景ガウス分布の平均を用いるため、修正係数Aは実際の影や反射による正確な修正値が求まりにくい。このため、基準要素以外の２つの特徴量要素のうちどちらか一方が影/反射の条件を満たせばよいとする。本発明でもこの方式を取る。影/反射領域除去部40の詳細は動作フローチャートを用いて後程詳述する。

真正前景画像生成部50は影/反射領域除去部40より多重分割された小領域毎に真正前景フラグ１個を受け取る。受け取った真正前景フラグは対応する小領域が真正の前景か否かを示す。また、この小領域がフレーム画像のどの位置に該当するかわかっている。まず、真正前景画像となる1フレーム分の画像メモリを用意し、影/反射領域除去部40から4x4画素の小領域よりの真正前景フラグを受け取ると、この画像メモリ上で対応する4x4画素の位置ごとに真正前景フラグの内容をコピーする。つまり、真正前景フラグがオンの場合は4x4個の１を対応する多重解像度真正前景を作る画像メモリの場所に移し、真正前景フラグがオフの場合は4x4個の0を移す。これで4x4画素の小領域の処理が全て終わると、画像メモリには4x4領域毎に0もしくは1となる2値で真正前景画像ができあがる。

4x4 画素の小領域処理が終わると、8x8画素小領域の処理へ移り、順次最大画素領域へと進む。以下では8x8画素領域からの真正前景フラグを受け取った時の処理を説明する。この場合は真正前景フラグに応じて8x8個の１もしくは0をデータとして準備する。すでに画像メモリ上には4x4画素の全ての結果から合成した真正前景画像フレームができあがっているので、準備した8x8個のデータをこのフレーム画像の対応する位置に以下の要領で反映させる。真正前景フラグが立っている場合は8x8個の１、立っていない場合は8x8個の０データを用意し、画像フレームメモリの対応する8x8画素の小領域位置にある4個の4x4画素データと各々論理積（AND）を取って同じ位置へ格納する。この結果、8x8個のデータが全て0である場合は対応する位置の4個の4x4画素領域はゼロとなる。逆に8x8個のデータが１の場合は4個ある4x4領域の1/0の状態がそのまま残る。

その後も順次影/反射領域除去部40から受け取った真正前景フラグに対応する真正前景画像フレームの位置に、真正前景フラグに応じて０または１を対応する小領域分用意し、論理積により真正前景画像フレーム領域の値を変更して戻す操作を繰り返す。全ての最大画素領域までの論理積による画像フレーム内の処理が完了すると完全な真正前景画像ができあがる。つまり、このフレーム内で１の現れる4x4領域の場所は、その場所を含む8x8画素領域より順次最大画素領域までが全て１である場合のみ生き残る。よって、安定性の高い真正前景画像フレームができあがる。

図2は多重分割特徴量生成部20の実施例である。多重分割特徴量生成部20はカメラ10からの入力端子セット200とWPP列210から構成される。また、入力端子セット200はR成分信号入力端子201、G成分信号入力端子202、B成分信号入力端子203より構成されており、WPP列210は3個のWPP211, WPP212, WPP213より構成される。ここで、WPP211,WPP212,WPP213はすでに述べたように、非特許文献2の混合ガウスモデルによる多重解像度前景分離LSI化プロセッサWPP (Walsh Parameter Processor) のことである。WPPは本来は輝度信号を入力するとフレーム画像を多重領域分割して個々の領域の輝度信号をWalsh変換し、領域毎の輝度平均となる最低スペクトル係数f(DC)、および縦、横方向のスペクトル成分を重み加算したf(ACV)とf(ACH)を順次出力するものである。しかし、今回の目的には領域の平均出力であるf(DC)だけを用い、f(ACV)やf(ACH)は利用しない。

カメラ10からのR成分信号、G成分信号、B成分信号は、R成分信号入力端子201, G成分信号入力端子202, B成分信号入力端子203に入力され、それぞれに直結されたWPP211, WPP212およびWPP213に供給される。各WPPでは4x4画素領域から最大画素領域までの多重分割した小領域ごとにWalsh変換による最低スペクトル係数を各WPPのf(DC)出力端子に出力する。つまり、それぞれR色成分、G色成分、B色成分の平均成分信号を出力する。具体的には、WPP211のf(DC)がf(R)となり、WPP212のf(DC)がｆ(G)となり、WPP213のf(DC)がf(B)となる。よって、WPP211,WPP212,およびWPP213からの出力は多重解像度分割した小領域ごとの特徴量要素を順次出力こととなり、これらを順次中間前景処理部30へ特徴量として伝える。

図3は影/反射領域除去部40の動作フローチャートである。図3の動作フローチャートは入力データ整理ブロック301、真正前景フラグ検査ブロック302、影/反射除去実行検査ブロック303、基準特徴量要素決定ブロック304、影/反射検証要素設定ブロック305、影/反射検証基準要素排除ブロック306、基準ガウス分布調査開始ブロック307、基準修正係数ブロック308、基準外要素ガウス分布検証開始ブロック309、影/反射候補検証ブロック310、影/反射決定ブロック311、基準外要素ガウス分布検証終了検査ブロック312 、基準ガウス分布調査終了検査ブロック313、特徴量要素変更ブロック314、前景分離要素処理処終了検査ブロック315からなる。各々の特徴量要素に対してM個のガウス分布からなる混合ガウスモデルを用いた場合を想定しており、その中に背景ガウス分布は基準特徴量要素にはPM個、基準でない特徴量要素にはQM個ある場合を想定している。このフローチャートは、以下に述べるように先に述べた影と反射を検出する原理図６に従った動きをする。

まず、図3のフローチャートでは、入力データ整理ブロック301で混合ガウス中間前景処理部30からのデータ収集整理を行う。収集するデータは小領域毎の修正する前の背景ガウス分布係数と3個の特徴量要素および中間前景フラグである。また、中間前景フラグの内容を真正前景フラグに移す。これは以降の処理で影/反射領域除去部40との処理を干渉させないためである。

ついで、真正前景フラグ検査ブロック302では真正前景フラグがセットされているかどうかを検査する。セットされていない場合は背景であるため影/反射除去の対象にはならない。よって、この場合はそのままこのフローチャートの終了(Exit)へ直行する。また、真正前景フラグがセットされている場合は影/反射を検出するために影/反射除去実行検査ブロック303に進む。

影/反射除去実行検査ブロック303では小領域分割が4x4画素ないし8x8画素までの小領域以外の場合は影/反射除去を行わないとしている。ブロック内に書かれた記号は小領域のサイズをaとし、このaがSES(Selected Evaluation Sizeblock:4x4画素か8x8画素)に含まれるという意味である。このため、8x8画素以上大きな分割領域では以下の影/反射領域除去部の動作フローをバイパスして終了する。よって、小領域サイズがSESに属する場合のみ基準特徴量要素決定ブロック304に進む。

基準特徴量要素決定ブロック304では影/反射除去判定をするにあたり基準となる前景分離特徴量要素を決定する。このため、前景分離特徴量要素の中から最大の値を持つものを選択する。以下の説明の都合上f(R),f(G),f(B)をこの順で番号付けしてf(1),f(2),f(3)とし、この番号で特徴量要素を示すことにする。最大の特徴量要素の値を最大値検出関数Maxで検出し、f(N)とする。つまり、この最大要素の所属する要素番号をNとして説明する。

続く影/反射検証要素設定ブロック305では影/反射領域を検査するための基準要素と組み合わせる特徴量要素を順次決定し以下の処理をループ処理で進めるためのものである。３つある特徴量要素に対して順次ループ処理で検討を行う。ここで設定した特徴量要素をｋ番目のものとして処理を進める。

次いで、影/反射検証基準要素排除ブロック306に移る。影/反射処理は基準要素とそれ以外の前景分離特徴量要素の1つを用いて行う。そのため、影/反射検証要素設定ブロック305で決定した基準要素と異なる特徴量要素を選ぶ必要がある。よって、影/反射検証要素設定ブロック305で設定した特徴量要素が基準要素でないかどうかを検査し、基準要素と同じ特徴量要素が設定されている場合は、特徴量要素変更ブロック314に進み、(k+1)番目の特徴量要素の準備をする。次いで、前景分離要素処理処終了検査ブロック315で(k+1)番目が４番目以下のガウス分布を指定する場合は、影/反射検証要素設定ブロック305に戻る。特徴量要素変更ブロック314でｋ＝４の場合は特徴量要素が3個であるため、ここで動作フローチャートの終了部に進む。

影/反射検証基準要素排除ブロック306で基準要素と他の特徴量要素が見つかると、基準ガウス分布調査開始ブロック307に進む。ここでは基準要素を本来包含していたガウス分布が解らないので、基準要素に属する背景ガウス分布を順次呼び出して修正係数を求める処理をループ処理で実行するためのループ設定を行う。基準要素には背景ガウス分布がPM個あるとしており、基準特徴量要素が本来含まれるべき背景ガウス分布を総当たりで決める操作をループ処理で調べる。以下では現在ｐ番目のガウス分布を用いて検査する場合を想定する。

続く基準修正係数ブロック308では影/反射で共通に使われる第p番目の修正係数A(p)を計算する。この修正係数はｐ番目の背景ガウスの平均μN(p)を基準要素の値f(N)で割ったもので、A(p)=μN(p)/f（N）と記述している。

次の、基準外要素ガウス分布検証開始ブロック309では、基準修正係数ブロック308 で得られた修正係数を用いて影/反射検証要素設定ブロック305により定まった基準要素ではない特徴量要素にはQM個の背景ガウス分布があるとしており、その各々に対する検証をループ処理で実行するための背景ガウス分布の番号ｑを設定する。

続いて影/反射候補検証ブロック310では影/反射検証要素設定ブロック305で選択された基準外特徴量要素に基準修正係数ブロック308で求めた修正係数A(p)を乗じた値がこの要素に属するｑ番目の背景ガウス分布に含まれるかどうかを判断する。

影/反射候補検証ブロック310で影/反射であると判断されれば影/反射決定ブロック311に進み、真正前景フラグを下す。この操作は、影/反射検定で検査する基準要素以外の２つの特徴量要素での検証処理のうち1つでも影/反射であると判断すれば充分であるとしているため、影/反射決定ブロック311の処理が終われば直ちにこのフローチャートの終了に進む。

逆に影/反射候補検証ブロック310で現在処理中の背景ガウスには含まれない場合は、基準外ガウス分布検証終了検査ブロック312に進み、残りの背景ガウス分布がある場合は、(ｑ＋１)番目の背景ガウスに設定して基準外要素ガウス分布検証終了検査ブロック312を介して基準外要素ガウス分布検証開始ブロック309に戻り、影/反射領域チェックのループ処理を再度始める。

しかし、基準外要素ガウス分布検証終了検査ブロック312で修正特徴量要素を包含できる残りの背景分布がもうない場合は基準修正係数ブロック308で定める修正係数では該当する背景ガウス分布が見あたらない。このため、基準ガウス分布調査終了検査ブロック313に進む。

基準ガウス分布調査終了検査ブロック313は基準要素の背景ガウス分布を次に代えるものがあると判断できれば、つまり換言すればｐ番目の基準要素の背景ガウス分布がPM以下であった場合、基準ガウス分布調査開始ブロック307に戻り(ｐ＋１)番目の背景ガウス分布を設定して影/反射領域のチェックループ処理を開始する。一方、基準ガウス分布調査終了検査ブロック313で基準要素の背景ガウス分布をすべてチェックし終わっている場合は、この基準要素のガウス分布では影/反射領域がチェックできなかったので、非基準特徴量要素を変えるための前景分離特徴量要素変更ブロック314に進んで他の特徴量要素を選択するためｋを歩進し、前景分離要素処理処終了検査ブロック315に進む。

前景分離要素処理処終了検査ブロック315では、特徴量要素は3個しかないので、ｋを歩進した結果が４になるかどうかを検査する。4以下の場合は影/検証要素設定ブロック305に戻り新しい前景分離特徴量要素に対してこれまでと同じ要領で影/反射領域を見つける操作を行う。

しかし、前景分離要素処理処終了検査ブロック315でｋが4であった場合は前景分離要素処理処終了検査ブロック315を通過して動作フローチャートに沿った動作を終了する。つまり、この場合には真正前景フラグは立ったままであり、影や反射ではなかったことを意味する。以上で影/反射領域除去部40の動作フローチャートは完了する。

以上のように上記の実施例に従えば、屋内における影や反射領域を取り除いた真正前景領域を抽出でき、また従来必要とされてきたレティネックス画像強調等を行なわなくともよくなる。この結果指先ジェスチャー入力などの演算量が飛躍的に減少し、消費電力の少ないウェアラブル端末用の入力システムが実現できる。

また図3のフローチャートは反射領域と影領域を同時に検出して中間前景領域からそのような領域を消去するものになっているが、反射領域だけを検出したい場合には基準ガウス分布調査開始ブロック307で選ばれた基準ガウス分布の平均が基準要素の値より大きい時は直ちに基準ガウス分布調査終了検査ブロック313まで進む条件を設ければよい。この様にすることで反射領域のみの除去を実現できるため、演算量を約1/2に減らすことができる。

同様に影領域だけを検出したい場合には、基準ガウス分布調査開始ブロック307で選ばれた基準ガウス分布の平均が基準要素の値より小さい時は直ちに基準ガウス分布調査終了検査ブロック313まで進む条件を設ければよい。この様にすることで影領域のみの除去になるため、演算量を約1/2に減らすことができる。

また、図3の影/反射領域除去部のフローチャートでは中間前景領域で影もしくは反射の候補を検証するにあたり、ある特徴量要素が複数個の背景ガウス分布中のどの背景ガウス分布の包含領域から逸脱して前景になったか判定できないため、背景ガウス分布を総当たり方式で調べた。しかし、すでに述べたように、各特徴量要素のガウス分布に対して背景および前景ガウス分布を決定する過程で全てのガウス分布は重み係数の大きいもの順に並べ替えているため、異なる特徴量要素用のガウス分布の重み付け係数の大きいものからの順位が同じであれば、対応する背景ガウス分布と考えてよい。ただし、全ての背景ガウス分布の重み係数は十分に大きい場合だけである。この条件を満たせば、総当たり方式を回避できる。この場合の具体的な図3のフローチャートの修正は、基準外要素ガウス分布検証ブロック309と基準外要素ガウス分布検証終了ブロック312で構成されるループ処理を排除し、基準外要素ガウス分布検証ブロック309で与えられるｑ番目の基準外要素ガウス分布に変わり、基準特徴量要素決定ブロック304で定められたｐ番目の基準外要素ガウス分布を用いることで実現できる。このようにして実現する方法も本発明の一部である。

以上では修正係数を求めるのに繰り返し演算となる除算が必要となるが、非特許文献１で説明しているように、包含領域に関する領域の上限と下限に修正係数の分母となるf(N)を乗ずることで除算を排除し演算量を削減している。これも単なる式変形であるため本発明の内である。

参考までに図3のフローチャートに沿って処理した例で、電気スタンドをつけた環境下での影/反射除去の効果の写真集を図７にまとめた。この写真集は入力カラービデオの１カットを2値化した写真701、多重解像度色平均ブロック特徴量による中間前景分離結果写真702、影領域写真703、真正前景分離の写真704で構成されている。また、影処理と反射処理は4x4画素のブロックだけで行っている。映像写真を2値化した写真701は影はわかるものの反射は目ではわからない。しかし、中間前景分離結果写真702では影と反射も指先や腕の下に中間前景領域として分離される。これに対し、色平均特徴量を用いた影領域のみを抽出した結果が写真703で、見えている影の領域と、腕の下側エッジに線状の影領域を見つけ出している。しかし、これだけを中間前景から除去しても三角形状の反射領域が消えない。一方、図3に示す影/反射領域除去部の動作フローチャートを用いて中間前景分離結果を処理すると、真正中間前景分離結果として写真704が得られる。つまり、三角形状の反射領域も除去できる。ちなみにこの三角形状の反射は机の上に置いたスマートフォンからの反射であった。本発明では非特許文献１の影除去で必要となったレティネックス画像強調の演算量の１０％をはるかに下回る演算量で影と反射を含まない真正前景分離結果が得られている。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることも可能であることが当業者に明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。

10 : カメラ
20 : 多重分割特徴量生成部
30 : 混合ガウス中間前景処理部
40 : 影/反射領域除去部
50 : 真正前景画像生成部
200: 入力端子セット
201: R成分信号入力端子
202: G成分信号入力端子
203: B成分信号入力端子
210: WPP列
211: WPP(Walsh Parameter Processor)
212: WPP(Walsh Parameter Processor)
213: WPP(Walsh Parameter Processor)
301 : 入力データ整理ブロック
302 : 真正前景フラグ検査ブロック
303 : 影/反射除去実行検査ブロック
304 : 基準特徴量要素決定ブロック
305 : 影/反射検証要素設定ブロック
306 : 影検証基準要素排除ブロック
307 : 基準ガウス分布調査開始ブロック
308 : 基準修正係数ブロック
309 : 基準外要素ガウス分布検証開始ブロック
310 : 影/反射候補検証ブロック
311: 影/反射決定ブロック
312: 基準外要素ガウス分布検証終了検査ブロック
313: 基準ガウス分布調査終了検査ブロック
314: 前景分離特徴量要素変更ブロック
315: 前景分離要素処理処終了検査ブロック
401: 前景時のf(DC)要素の影領域グラフ
402: 他の特徴量要素グラフ
403: 影検証グラフ
501: 原画像写真
502; 変換領域中間前景分離写真
503: 変換領域影除去写真
601: 基準要素の影領域グラフ
602: 影領域の他要素グラフ
603: 影検証グラフ
604: 基準要素の反射領域グラフ
605: 反射領域の他要素グラフ
606: 反射検証グラフ
701: カラービデオの１カットを2値化した写真
702: 多重解像度色平均ブロック特徴量による中間前景分離結果写真
703: 多重解像度変換領域特徴量による影領域写真
704: 真正前景分離結果の写真

【０００１】
技術分野
［０００１］
本発明は画像処理装置に関する。本発明は特に、一般のカメラを用いたＩＴ装置に関するジェスチャー入力技術に属する。
背景技術
［０００２］
映像による監視やジェスチャー入力システムでは影などの実体がない部分が動きのある映像として現れると障害になる。この分野では、すでにマイクロソフト社は自社のゲーム機のジェスチャー入力システムとして赤外線カメラを用いた室内人物の抽出器Ｋｉｎｅｃｔを販売している。影領域は背景領域に投射され、体温より低い。このため、影領域は赤外線カメラでは問題にはならない。ただし、熱源や赤外線の多い場所での使用は考慮されていない。このため、Ｋｉｎｅｃｔは屋外では使用できない。さらに、屋内でも、熱源がある台所やペット動物が室内にいる場合は使いづらい。
［０００３］
一般の単眼カメラからの映像による動きのある部分を動かない部分から区別して抽出する技術は前景分離と言われ、監視カメラなどに使われている。しかし、映像中に動きのあるものは本来検出したい前景領域とともに、前景物体により背景に投影された影領域がある場合や、カメラ視野外からの反射光がカメラ視野に入り、かつ、反射光が途中で時々遮られて変動すると、前景領域として検出される。特に反射に関しては、電気スタンドをつけるような環境で顕著になる。このため、正確なジェスチャー入力を行うには前景分離から影や反射の領域を排除する必要がある。このような影や反射の影響を除去する方法は、前景分離と独立した画像処理技術として扱うことが多い。ただし、前景分離も影除去および反射除去も多大な演算量が必要になるのが一般的である。このため、多大な演算量に起因して装置の発熱量も大きく、ウェアラブル端末などに活用するには困難が伴う。

【０００２】
［０００４］
しかし、前景分離に用いるパラメータを有効活用することで影除去の演算量を大幅に軽減する方法が近年登場している。この方法の詳細は非特許文献１に詳しい。この方法は前景分離に用いる途中結果を影除去に活用する。ここで用いる前景分離はカメラからのフレーム画像を小さな領域に分割し、この分割した小領域毎に前景領域か背景領域かを判断する。続いて、影や反射を含んだ前景領域を除外する。以下、影や反射の影響を含まない前景領域を真正前景領域と呼び、影や反射の領域を含んだ通常の前景分離を中間前景領域として区別する。
［０００５］
非特許文献１の中間前景領域から影領域を排除する方法は画像の小領域毎にＷａｌｓｈ直交変換して得られるスペクトルをベースとした中間前景分離を行う。このスペクトルを組み合わせた量の変動を複数のガウス分布を用いて表わす。このような複数のガウス分布を用いた前景検出のためのモデルを混合ガウスモデルと呼び、モデルへの入力とする特徴量はスペクトルの組み合わせによって作る複数個の特徴量要素から構成する。また、個々のガウス分布の平均と分散、および、どの程度の頻度で各々のガウス分布が貢献しているかを示す重み係数（以下これらをガウス分布係数と呼ぶ）をフレーム毎の小領域特徴量要素の値に応じて適応的に修正する。大きな重み係数を持つガウス分布は動きがないため背景ガウス分布となる。一方、前景領域となるガウス分布は前景物体がすぐにその領域から離れるため、小さい重みを持ち前景ガウス分布となる。新しいフレームの同じ小領域の位置における特徴量要素が入力され、その特徴量要素が１フレーム前に更新された背景ガウス分布に包含されたら背景、前景ガウス分布に包含されたら前景領域とする。また、前景ガウス分布と背景ガウス分布の決定は重み係数を大きいもの順に並べて決定する。当然、特徴量要素が既存ガウス分布に含まれない場合もあり、この場合は入力特徴量を平均とした初期ガウス分布を生成し、既存ガウス分布の中で最も小さい重み係数を持つガウス分布をモデルから除外する。この場合はこの小領域は前景領域である。ここでガウス分布に包含されるという表現は、ガウス分布が平均μと分散σ＾２を持つ時、このガウス分布に従う事象は平均μの周りの±３σ

【０００３】
以内に起こる確率が９９．８％となることから来ている。分散で用いた記号σ＾２とは標準偏差σの２乗を表す。一般には平均の周りの２．５σの区間をガウス分布に含まれる区間とすることが多い。
［０００６］
非特許文献１の方法では特徴量は３個の要素から構成される。小領域の輝度信号をまず２次元Ｗａｌｓｈ関数により、２次元Ｗａｌｓｈスペクトル係数に変換する。小領域の平均の明るさとなる縦横方向の最低スペクトル係数ｆ（ＤＣ）と、横方向は最低次数で縦方向の複数の低域スペクトル係数を重みづけ加算したｆ（ＡＣＶ）、および縦方向は最低次数で横方向の低域スペクトル係数を重みづけ加算したｆ（ＡＣＨ）を特徴量要素として用いる。この各々の特徴量要素に対して混合ガウスモデルを構築して前景分離作業を行う。特徴量要素が１個でも前景ガウス領域に含まれるとその小領域は前景小領域とする。Ｗａｌｓｈ変換するのは屋外映像などは遥かな遠景までカメラ視野に入るため、林やビル群などに起因する高い空間周波数を多く含むためである。
［０００７］
また、非特許文献１では分割小領域の縦横サイズを順次２倍に拡大して再び前景分離を行う多重解像度処理を用いている。これは混合ガウスモデルによる中間前景分離では小領域ごとに独立した処理を行うため、隣接小領域が少しのノイズで隣接領域と無関係に前景判定を行う状況を防ぐものである。多重解像度分割における中間前景分離は最小の分割小領域が前景判定であっても、その小領域を含む全ての大きな分割小領域が前景領域となる場合のみ最終的な中間前景領域とするので、隣接する小領域間の安定性を確保できる。
［０００８］
以上の、１フレーム画像を多重解像度分割し、領域ごとに上記の特徴量要素ｆ（ＤＣ），ｆ（ＡＣＨ），ｆ（ＡＣＶ）を生成するまでの具体的な回路と、全ての領域の特徴量による中間前景分離までを行う回路は非特許文献２に詳しい。そこでは双方の回路をＦＰＧＡ（フィールドプログラマブルゲートアレー）１個の中に組み込み、ＨＤＴＶビデオを扱う場合でも３０ｍＷの消費電力で実現している。消費電力が小さいということは演算量の軽い前景分離法であることを示す。この非特許文献２では入力ビデオフレームからフレーム画像を覆う４ｘ４画素から６４ｘ６４画素の領域サイズの特徴量計算を順次計算する機能プロセッサをＷＰＰ（Ｗａｌｓｈｔｒａｎｓ

【０００４】
ｆｏｒｍｂａｓｅｄＰａｒａｍｅｔｅｒｐｒｏｃｅｓｓｏｒ）、また、ＷＰＰで生成された特徴量から中間前景分離までを行う機能プロセッサをＧＴＰ（ＧａｕｓｓｉａｎｍｉｘｔｕｒｅｍｏｄｅｌＴｈｒｅａｄＰｒｏｃｅｓｓｏｒ）として論じている。
［０００９］
非特許文献１の影除去法の原理は、中間前景分離に用いた背景ガウス分布を影除去に活用することにあり、従来法の影除去に比べ１桁以下の低演算量化に成功している。この方法は、影によって背景領域が前景領域となるのは特徴量要素が本来あるべき背景ガウス分布の包含区間から逸脱した結果と考える。また、特徴量の各要素は線形演算により求めるため、影により各特徴量要素の値も一様に小さくなる。このため、ある特徴量要素の影による減衰量が推定できると、その逆数を他の特徴要素に乗じることで、乗じられた特徴量要素は本来あるべき背景ガウス分布の包含範囲に戻る。この方法で小領域が影と判断できると、この小領域を中間前景領域から除くことで真正前景分離を実現する。
［００１０］
減衰量を推定するには特徴量要素として最低変換スペクトルであるｆ（ＤＣ）とその要素の背景ガウス分布の平均から求める。ｆ（ＤＣ）はその領域の平均の明るさを表すので常にある程度大きな値を持つため、演算精度の観点から基準特徴量要素としている。複数の背景ガウス分布がある場合は、それ等全ての可能性を考えて繰り返し処理することになる。
［００１１］
減衰量が求まった後、影領域を見つける方法は非特許文献１を基にして描いた影領域検出の原理図４で説明できる。図４は、前景時のｆ（ＤＣ）要素グラフ４０１、他の特徴量要素グラフ４０２、影検証グラフ４０３のサブグラフから構成されている。これ等３個のサブグラフはともに、横軸に特徴量要素のダイナミックレンジ内の大きさを示し、右に行くほど大きい値となる。また、縦軸は発生確率を示している。曲線で上に盛り上がった印は本来ｆ（ＤＣ）を含むべき背景ガウス分布である。また、サブグラフに書かれた下向き実線矢印は特徴量要素の値を横軸に合わせて示している。また、グラフ４０２、グラフ４０３で記述したｆ（ＡＣ）とはｆ（ＡＣＨ）にもｆ（ＡＣＶ）にも当てはまるので、双方の代表としてｆ（ＡＣ）でまとめている。

【０００５】
［００１２］
前景時のｆ（ＤＣ）特徴量要素グラフ４０１は影により前景領域となる場合を示しており、特徴量ｆ（ＤＣ）の要素と本来ｆ（ＤＣ）を含むべき背景ガウス分布を示している。ｆ（ＤＣ）は影の影響でこの背景ガウス分布から逸脱している。このため、中間前景分離では前景領域となる。グラフ４０１からも理解できようが、ガウス分布の平均μＤＣをｆ（ＤＣ）で割ったものは減衰量の逆数となり、これを修正係数Ａと呼ぶ。影領域グラフ４０１に示すように、特徴量要素ｆ（ＤＣ）が背景ガウス分布の包含領域より小さい。このような小領域があると中間前景領域になり、影候補になる。ついで、この影候補の小領域における他の特徴量要素グラフ４０２、影検証グラフ４０３を用いて影領域であることを検証する。グラフ４０２はｆ（ＤＣ）とは異なる特徴量要素ｆ（ＡＣ）でも影の影響で減衰して前景領域となる例である。この小領域が影であればｆ（ＡＣ）はｆ（ＤＣ）と同じ比率で減衰しているはずである。影検証グラフ４０３は影領域かどうかの検証を行う原理図である。ｆ（ＡＣ）は下向き点線矢印で示す。ｆ（ＡＣ）に先に求めた修正係数Ａを乗じた結果を下向き実践矢印で示している。つまり、この小領域が真の影領域であれば修正されたｆ（ＡＣ）は本来包含されている背景ガウス分布内に戻る。よって、このような場合はｆ（ＤＣ）とｆ（ＡＣ）は一様に減衰していると考えられ、影領域であるとする。
［００１３］
この影除去法ではすでに中間前景分離で算出した特徴量要素と背景ガウス分布が使える。つまり、チェックに当たって特徴量要素であるｆ（ＤＣ）が背景ガウス分布の平均より小さくなる背景分布だけを対象に、この影領域候補に対してグラフ４０２、および４０３の順序で影の検証をすればよい。
［００１４］
以上は屋外の監視用のシナリオである。しかし、屋内の廊下などで壁が背景に来ると、屋外監視と比べ近い背景範囲となるため問題を発生する。この状態で廊下の壁などの背景画像領域を小領域に分割してＷａｌｓｈ変換すると、ほとんど高周波スペクトル成分は観測できない。このため、影領域検出の原理図４のグラフ４０２，４０３で用いた他の特徴量要素が有意な値を持たない。よって、非特許文献１では廊下での前景分離を行うには、レティネックス画像強調という演算量の重い処理を前処理として導入し、高スペクトル成分を強化している。ただし、この画像強調だけで前景分離以上の演算量を必要とする。影除

【０００６】
去で大幅な演算量削減ができる非特許文献１の効果はこのレティネックス画像処理の導入で半減することになる。
［００１５］
動作入力の一つである指先ジェスチャー入力システムも屋内では同様の問題が起こる。通常の住宅の部屋では壁や家具があり、やはり廊下と同じように高次のスペクトル成分がゼロになる。非特許文献１の方法をレティネックス画像強調なしの変換領域前景分離で行った写真例を図５に示す。図５は原画像写真５０１、変換領域中間前景分離写真５０２、変換領域影除去写真５０３の３個の同一フレームの写真からなる。原画像写真５０１は指先ビデオの１カットを２値化したため、指先は見えないが背景は見える。変換領域中間前景分離写真５０２は変換領域における混合ガウスモデルによる中間前景分離を行った写真であり、変換領域影除去写真５０３は非特許文献１でレティネックス画像強調を抜いた出力写真である。変換領域中間前景分離写真５０２と変換領域影除去写真５０３の各々で白い部分が中間前景分離領域もしくは影を引き去った真正前景分離領域であり、黒い部分は背景である。折角変換領域中間前景分離写真５０２のように正しく前景分離ができていても、影除去を行うと変換領域影除去写真５０３のように輪郭部分だけしか残らない。つまり、レティネックス画像強調を省くためには他の方策を必要とする。
［００１６］
さらに、一般住宅の部屋はあまり広くない。このような場所にテレビや食器棚のような反射性の強い家具がある。この状況で室内ライトなどの照明器具を用いると、食器棚のガラス等からの反射光がカメラ視野に入る。さらに、カメラを身に着けた場合を考える。ユーザの体がこの反射光を動的に遮ると、反射領域の急激な変化が起こり前景領域になる。ただし、反射の写り込みは人の視力では見えにくく、中間前景分離を行って初めてわかるものである。
先行技術文献
非特許文献
［００１７］
非特許文献１：Ｔ．Ｓｈｉｏｔａ，Ｋ．Ｎａｋａｇａｍｉ，ａｎｄＴ．Ｎｉｓｈｉｔａｎｉ，“ＴｒａｎｓｆｏｒｍＤｏｍａｉｎＳｈａｄｏｗＲｅｍｏｖａｌｆｏｒＦｏｒｅｇｒｏｕｎｄＳｉｌｈｏｕｅｔｔｅ”，ＩＥＩＣＥＴｒａｎｓ．Ｖｏｌ．Ｅ９６−Ａ．Ｎｏ．３，ｐｐ６６７−６７４，Ｍａｒｃｈ２０１３．

【０００７】
非特許文献２：Ｒ．Ｙａｇｉ，Ｔ．ＫａｊｉｍｏｔｏａｎｄＴ．Ｎｉｓｈｉｔａｎｉ，”ＧＭＭＦｏｒｅｇｒｏｕｎｄＳｅｇｍｅｎｔａｔｉｏｎＰｒｏｃｅｓｓｏｒｂａｓｅｄｏｎＡｄｄｒｅｓｓＦｒｅｅＰｉｘｅｌＳｔｒｅａｍｓ”，ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＥＥＥＩＣＡＳＳＰ’２０１２ｐｐ．１６５３−１６５６，Ｍａｒｃｈ２０１２．
発明の概要
発明が解決しようとする課題
［００１８］
本発明は、影および反射領域を除去した屋内外環境での真正前景分離を簡単な後処理で行う装置を提供する。
課題を解決するための手段
［００１９］
本発明は、以上の課題を解決するために以下の各発明を提供する。
［００２０］
１．カメラからの入力フレームを小領域に分割し、小領域内での色成分の平均を求めた色平均成分信号を特徴量の要素とする手段と、各小領域内の特徴量の要素毎にその変動の確率分布を複数の典型的な確率分布で近似し、前景小領域をモデル化している典型的確率分布と背景小領域をモデル化している典型的確率分布に区別して用い、特徴量の要素が一個でも前景小領域をモデル化している典型的確率分布に包含される場合を中間前景小領域とする手段と、中間前景小領域になった前景分離特徴量の要素の最大のものを基準特徴量要素として選択する手段と、基準特徴量要素に割り当てられた各々の背景小領域を表す典型的確率分布の平均を基準特徴量要素の値で割った修正係数を求める手段と、それぞれの修正係数を基準特徴量要素でない特徴量要素の値に乗じた値がその特徴量要素の背景小領域を表す確率分布のいずれかに包含される場合を影または反射による中間前景小領域とみなして中間前景領域から排除することで真正前景領域を作る手段からなる画像処理装置。
［００２１］
上記の方法では、典型的確率分布としてガウス分布を考えると、混合ガウスモデルを用いた中間前景分離から影と反射による前景領域を取り除いた真正前景分離を得る方法であり、従来例のような複雑な画像強調に代わり中間前景分離の途中結果を用いて真正前景分離結果を抽出する。非特許文献１および２では背景となる遠景が高スペクトル成分となることと明確な色特徴量要素が出にくい雨天や降雪時のような屋外監視用として小領域の高スペクトル成分を特徴量としていたが、ジェスチャー入力として扱う場合は極端な屋外状況での利用よりも屋内利用を重視して考える。一般的な屋内外での前景分離を行う場合は小領域毎の平均色特徴量とすることの方が好ましくなる。これは３原色の少なくとも２色の要素が有意な値を持つ可能性が高いためである。影と反射による小領域を排除する原理は以下に示す原理説明図６に基づく。

【０００８】
［００２２］
影と反射を検出する原理説明図６は基準特徴量要素の影領域グラフ６０１、影領域の他の特徴量要素グラフ６０２、影検証グラフ６０３、基準特徴量要素の反射領域グラフ６０４、反射領域の他特徴量要素グラフ６０５、反射検証グラフ６０６の６個のサブグラフからなっている。横軸、縦軸、盛り上がったカーブ、矢印は影領域検出の原理図４と同じ意味である。影と反射を検出する原理説明図６の基準特徴量要素の影領域グラフ６０１、影領域の他特徴量要素グラフ６０２、影検証時グラフ６０３は特徴量要素が色平均となり、影領域検出の原理図４のｆ（ＤＣ）要素の影領域グラフ４０１、他の特徴量要素グラフ４０２、影検証グラフ４０３を色平均特徴量要素に変えたものである。ただし、影領域検出の原理図４では特徴量ｆ（ＤＣ）が重要な役割をしているのに対し、影と反射を検出する原理図６は特徴量要素の中で最大値をとるｆ（Ｎ）がｆ（ＤＣ）の役割を担っている。特徴量要素の最大値の代わりにある程度大きな値を持つ特徴量要素を基準特徴量要素にしても良い。また、影と反射を検出する原理図６では、典型的な背景ガウス分布の平均をμＤＣに換えて基準特徴量要素の背景ガウス分布の平均μＮとしている。つまり、影領域の原理図４の減衰量の逆数である修正係数ＡはμＤＣをｆ（ＤＣ）で割った値であったが、色平均特徴量要素を用いる場合はμＮをｆ（Ｎ）で割った値に代え、それ以外は影領域の原理図４と同じであるため、影除去に関する説明を省く。
［００２３］
一方、反射除去は基準特徴量要素の反射領域グラフ６０４、反射領域の他特徴量要素グラフ６０５、反射検証グラフ６０６が対応する。基準特徴量要素の増幅における修正係数Ａは影の場合と同様μＮをｆ（Ｎ）で割った修正係数となり、演算自体は影除去の場合と同じになる。ここで、カメラ視野外からの反射光による影響は、反射領域特徴量の各要素を一様に増幅すると考える。基準特徴量要素の反射領域グラフ６０４では、反射による中間前景領域は、本来、グラフ６０４中の背景ガウス分布に含まれていたｆ（Ｎ）が、反射光の影響でこの背景ガウス分布の包含領域より明るくなってしまうことに起因する。反射領域の他特徴量要素グラフ６０５も同様である。反射検証グラフ６０６は反射領域の他特徴量要素グラフ６０５の特徴量要素に修正係数Ａを乗じることで背景分布の包含領域に戻る場合を示しており、この場合は反射領域と判断する。
［００２４］
なお、修正係数としてＡを用いたが、数学的に等価な処理に従う別の計算法、例えば影の場合は基準特徴量要素を背系ガウス分布の平均で割った減衰量を求め、また、反射の場合は増幅量を求め、影の場合は背景ガウス分布の平均に減衰量を乗じて特徴量要素と比較し、反射の場合は背景ガウス分布の平均に増幅量を乗じて特徴量と比較するなどの方法も本発明の一部である。

【０００９】
［００２５］
２．上記１項における画像処理装置において、中間前景領域から反射による中間前景領域のみを排除する場合は、上記１項の基準特徴量要素の求め方により求めた基準特徴量要素が対応する背景確率分布の平均より大きい典型的背景確率分布からのみ修正係数を求める手段と、基準特徴量要素以外の特徴量要素に修正係数を乗じる手段と、乗じられた特徴量要素がその特徴量要素の背景確率分布に包含される場合にその中間前景小領域を排除することを特徴とする真正前景分離を行う画像処理装置。
［００２６］
この方法は、反射領域を影領域よりも安定化して抽出したい場合に対応し、ある小領域で影除去を行わないが反射除去を実行した場合や、反射が支配的な場合は影除去を行わない場合もある。このような反射だけを排除する場合に基準特徴量要素の値が背景ガウス分布の平均より高い背景ガウス分布のみを用いて処理する。処理の方法は、典型的確率分布をガウス分布としたとき、色特徴量を用いた原理説明図６の基準特徴量要素の反射領域グラフ６０４、反射領域の他特徴量要素グラフ６０５、反射検証グラフ６０６で示した反射除去プロセスだけを実行するので演算量をほぼ半分にできる。
［００２７］
３．上記１項における画像処理装置において、中間前景領域から影による中間前景領域のみを排除する場合は、上記１項の基準特徴量要素の求め方により求めた基準特徴量要素が対応する背景確率分布の平均より小さい典型的背景確率分布からのみ修正係数を求める手段と、基準特徴量要素以外の特徴量要素に修正係数を乗じる手段と、乗じられた特徴量要素がその特徴量要素の背景確率分布に包含される場合にその中間前景小領域を排除することを特徴とする真正前景分離を行う画像処理装置。

【００１０】
［００２８］
この方法は、影領域を反射領域よりも安定して抽出したい場合に対応し、ある小領域処理で反射除去を行わないが影除去だけは実行したい場合や、影が支配的な場合は反射除去を使わない場合もある。このような影領域だけを排除する場合に基準特徴量要素の値が背景ガウス分布の平均より低い背景ガウス分布のみを用いて処理する。処理の方法は、典型的確率分布をガウス分布としたとき、色特徴量を用いた原理説明図６の基準特徴量要素の影領域グラフ６０１、影領域の他特徴量要素グラフ６０２、影検証グラフ６０３で示した影除去プロセスだけを実行するので演算量をほぼ半分にできる。
［００２９］
４．上記１項，２項，３項のいずれかを用いた画像処理装置であって、フレーム画像をオーバラップしない小領域にまず分割し、次いでメッシュ状に並んだ小領域の縦横ともに２倍に拡大して先に分割した小領域を４個含む拡大小領域で画面を覆う分割操作を行い、この拡大小領域を作成する分割を複数回繰り返すことで多重分割する手段と、多重分割された小さい分割の小領域に前記１項、２項、３項のいずれかを用いて真正前景分離を行い、最大の分割で中間前景領域となる領域内の小さい分割が真正前景である領域のみが多重分割真正小領域であるとすることを特徴とする画像処理装置。
［００３０］
高精細映像を処理する場合には非特許文献１，２で述べている多重解像度処理を用いることが混合ガウスモデルでは必須であるが、本発明の反射や影除去の前提は反射や影による背景小領域の変化は一様に起こるという仮定の下に成り立っている。このため、多重解像度処理における解像度が高い場合、つまり、小領域が小さいときには成り立つものの、小領域が広くなると広い範囲にわたって一様な影や反射を期待できない。よって、多重解像度処理の場合、上記１項、２項、３項は多重解像度処理で反射や影除去を活用する場合に小領域の大きさが小さい場合のみに利用することで効果を上げる。大きい分割の中間前景領域判定は高精細画像で多発する微小分割にために生ずる間違った真正小領域を抑圧することが目的である。
［００３１］
５．上記１項より４項における画像処理装置において、基準特徴量要素の属する典型的確率分布の重み係数の大きいもの順に並べた典型的確率分布と、基準でない特徴量の属する典型的確率分布の重み係数の大きいもの順に並べた典型的背景確率分布との間で、同一順位の典型的確率分布のみを用いて影ないし反射に起因する中間前景領域の検証と削除を行って真正前景領域を得ることを特徴とする画像処理装置。

【００１１】
［００３２］
典型的確率分布をガウス分布としたとき、影や反射により基準特徴量要素がある背景ガウス分布領域から逸脱して中間前景領域と判定されても、どの背景ガウス分布から逸脱したかという情報はない。また、通常は特徴量要素毎に独立に前景ガウス分布と背景ガウス分布を決定するため、特徴量要素毎に背景ガウス分布の数は一定でない。特徴量要素が一つでも前景領域判定になると、前景小領域としたのもこのためである。よって、影や反射であることの検証は基準特徴量要素と非基準特徴量要素の全ての背景ガウス分布間で総当たりの検証になるのが普通である。しかし、従来例で詳述したように、混合ガウスモデルにおける背景ガウスと前景ガウスの区分けは特徴量要素毎にガウス分布の重み係数順に並べて判断する。重み係数はよく利用されるガウス分布ほど大きな値となるので、背景ガウスから前景ガウスへの順に並ぶ。よって、２つの特徴量要素がある程度大きい値を持てば、特徴量要素毎に独立に背景ガウスの数を決めるものの、特徴量要素が異なっていても大きい順に対応する背景／前景ガウス分布となると仮定できる。このことを利用して検証のために用いる基準特徴量要素の背景ガウスの重み係数の順番と基準外特徴量要素の背景ガウス分布の重み係数の順番を対応させたものだけに限定して影と反射を検出する原理図６を用いて処理することで演算量を削減できる。ただし、最大から離れてゆくに従って同一順位のガウス分布間は対応しているとは言えないが、必要なものは重み係数の大きい背景ガウス分布のみである。また、３原色相当の背景色が来る場合はこのような状況も期待できない。しかし、ウェアラブル端末への利用であれば、このような典型低確率分布の対応が順番にはならない場合にはユーザが適切な背景を探してみることもできる。このため、この方法は演算量削減という点で効果的である。
［００３３］
［００３４］
［００３５］

【００１２】
発明の効果
［００３６］
上記の課題解決手段に従えば、影と反射領域を含まない真正前景分離を中間前景分離の途中結果を用いて中間前景分離の後処理として実現できる。このため、画像強調や画像処理による反射除去を不要にでき、大幅な演算量削減が可能である。このため、消費電力低減を重要課題とするジェスチャー認識を入力手段とするウェアラブル端末等に活用できる。
図面の簡単な説明
［００３７］
［図１］一実施形態に係る動画処理システムの一例を示す図である。
［図２］多重分割特徴量生成部の一例を示す図である。
［図３］影／反射領域除去部の動作フローチャートを示す図である。
［図４］影領域検出の原理図である。
［図５］レティネックス画像強調なしの変換領域前景分離写真例を示す図である。
［図６］影と反射を検出する原理図である。
［図７］影／反射除去法による真正前景分離の流れを示す写真集の図である。
発明を実施するための形態
［００３８］
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲の全てが発明の解決手段に必須であるとは限らない。また、以下の実施形態は特許請求の範囲にかかわる発明を限定するものではない。さ

【００１３】
らに、典型的な分布としてガウス分布を用いて説明するが、これも本発明をガウス分布に限定するものではない。以下の説明では高精細画像でも安定して前景分離が可能な多重解像度処理による実施形態について述べる。また、図面を簡単化する目的で特徴量要素ｆ（Ｒ），ｆ（Ｇ），ｆ（Ｂ），ｆ（Ｎ）など、括弧内に書いたパラメータは図面上では添え字として記述し、それぞれｆＲ，ｆＧ，ｆＢ，ｆＮのように記述している。
［００３９］
図１は一実施形態にかかわる動画像を対処とした画像処理装置の一例を示すものである。本発明の動画像を対象とした画像処理装置は、カメラ１０、多重分割特徴量生成部２０、混合ガウス中間前景処理部３０、影／反射領域除去部４０、真正前景画像生成部５０、からなっている。
［００４０］
カメラ１０からの信号はＲ，Ｇ，Ｂカラー成分ごとに多重分割特徴量生成部２０に入力され、カラー成分ごとのフレーム画像をオーバラップしない４ｘ４画素の小領域毎に分割して領域毎にＲ，Ｇ，Ｂカラー成分の平均をｆ（Ｒ），ｆ（Ｇ），ｆ（Ｂ）として求め、これ等を特徴量要素として出力する。引き続き、多重分割特徴量生成部２０では処理済みの４ｘ４画素の小領域が構成する行と列各々の奇数番目と偶数番目の小領域を統合して８ｘ８画素の拡大小領域とし、この拡大小領域の平均カラーを特徴量要素として出力する操作を行なう。同様に分割領域を拡大して、例えば４ｘ４画素から６４ｘ６４画素領域までに分割した各小領域のカラー特徴量要素を生成して出力する。この領域毎に求めた３個の特徴量要素は順次混合ガウス中間前景処理部３０に送る。この多重分割特徴量生成部２０の具体的な構成の詳細は、非特許文献２の混合ガウスモデルによる多重解像度特徴量のＬＳＩ化プロセッサアーキテクチャを論じたＷａｌｓｈＰａｒａｍｅｔｅｒＰｒｏｃｅｓｓｏｒを用いて容易に構成でき、後述する。
［００４１］
多重分割特徴量生成部２０からの特徴量は混合ガウス中間処理部３０で特徴量の要素毎に混合ガウスモデルによる中間前景分離を行う。多重分割特徴量生成部２０から新しい小領域の特徴量が入力されると、混合ガウス中間処理部３０では、この小領域処理のために前フレームで用意した混合ガウスモデルのガウス分布係数を用いて中間前景分離を行ない、各ガウス分布係数を次フレームのために適応的に更新する。この処理は非特許文献２のＧａｕｓｓＴｈｒｅａｄＰｒｏｃｅｓｓｏｒ（ＧＴＰ）がそのまま使える。ただし、影反射除去のためにこの小領域の現在の特徴量と

【００１４】
、更新する前の全ての背景ガウス係数と、混合ガウス中間前景処理部３０の結果が中間前景領域である場合には中間前景フラグをオン、背景であればオフにして影／反射除去部４０に送る。
［００４２］
影／反射領域除去部４０では混合ガウス中間前景処理部３０より入力された小領域毎の特徴量、中間前景フラグ、背景ガウス分布のガウス分布係数を用いて影や反射による中間前景領域を除去する。除去する前に中間前景フラグの内容を真正前景フラグにまず移す。その小領域が影や反射に起因するものであれば、以下に説明する操作で真正前景フラグを下ろすためである。これにより、中間前景領域から排除する。
［００４３］
影／反射領域除去部４０の処理では、まず、カラー平均要素からなる小領域の特徴量のうち、最大の特徴量要素を基準特徴量要素にする。これは、修正係数Ａの算出のための割り算の精度が悪くなることを防ぐためである。この基準特徴量要素を用いて影と反射を検出する原理図６に従った処理を行う。ただし、小領域が中間前景分離で前景領域となった場合、その基準特徴量要素は背景ガウス分布の領域から逸脱したことは明確でも、基準特徴量要素に対する混合ガウスモデル内のどの背景ガウス分布から移動してきたのか解らない。このため、複数個ある背景ガウス分布に対して総当たりで影および反射のチェックを行う。まず、基準特徴量要素の最初の背景ガウス分布の平均と現状の基準特徴量要素により修正係数Ａを定める。次いで、基準特徴量要素以外の特徴量要素を一個ずつ選び、それに修正係数Ａを乗じた結果がその要素に対応する背景ガウス分布に包含されるかどうかを調べる。背景ガウスに包含されればその小領域は影もしくは反射部に含まれるとして真正前景フラグを下げて、真正前景画像生成部５０へ進む。つまり、真正前景フラグがリセットされるので、その小領域はそれまで中間前景領域の一部であったが背景領域に戻ることになる。また、修正係数Ａを乗じても背景ガウス分布に包含されない場合は基準特徴量要素の次のガウス分布を選んで修正係数Ａを求め直し、再度チェックすることになる。総当たり方式であるので重い計算ではあるが、各要素に対応するガウス分布の数は典型的には３個ほどであるのでそれほど重い処理にはならない。また、本来は３つの特徴量要素が一様に減衰ないし

【００１５】
増幅される筈である。しかし、非特許文献１によると、修正係数Ａの値を求めるのに背景ガウス分布の平均を本来の影や反射に影響されない特徴量要素の値として用いるため、修正係数Ａは実際の影や反射による正確な修正値が求まりにくい。このため、基準特徴量要素以外の２つの特徴量要素のうちどちらか一方が影／反射の条件を満たせばよいとする。本発明でもこの方式を取る。影／反射領域除去部４０の詳細は動作フローチャートを用いて後程詳述する。
［００４４］
真正前景画像生成部５０は影／反射領域除去部４０より多重分割された小領域毎に真正前景フラグ１個を受け取る。受け取った真正前景フラグは対応する小領域が真正の前景領域か否かを示す。また、この小領域がフレーム画像のどの位置に該当するかわかっている。真正前景画像生成部５０では、まず、真正前景画像となる１フレーム分の画像メモリを用意し、影／反射領域除去部４０から４ｘ４画素の小領域よりの真正前景フラグを受け取ると、この画像メモリ上で対応する４ｘ４画素の位置ごとに真正前景フラグの内容を書き込む。つまり、真正前景フラグがオンの場合は４ｘ４個の１を画像メモリの対応する位置に書き込み、真正前景フラグがオフの場合は４ｘ４個の０を書き込む。これで４ｘ４画素の小領域の処理が全て終わると、画像メモリには４ｘ４領域毎に０もしくは１となる２値で真正前景画像ができあがる。
［００４５］
４ｘ４画素の小領域処理が終わると、８ｘ８画素小領域の処理へ移り、順次最大画素領域へと進む。以下では８ｘ８画素領域からの真正前景フラグを受け取った時の処理を説明する。この場合は真正前景フラグに応じて８ｘ８個の１もしくは０をデータとして準備する。すでに画像メモリ上には４ｘ４画素の全ての結果から合成した真正前景画像フレームが画像メモリにできあがっているので、準備した８ｘ８個のデータをこの画像メモリの対応する位置に以下の要領で反映させる。真正前景フラグが立っている場合は８ｘ８個の１、立っていない場合は８ｘ８個の０データを用意し、画像メモリの対応する８ｘ８画素の小領域位置にある４個の４ｘ４画素データと各々論理積（ＡＮＤ）を取って同じ位置へ格納する。この結果、８ｘ８個のデータが全て０である場合は対応する位置の４個の４ｘ４画素領域はゼロとなる。逆に８ｘ８個のデータが１の場合は４個ある４ｘ４領域の１／０の状態が

【００１６】
そのまま残る。
［００４６］
その後も順次影／反射領域除去部４０から受け取った真正前景フラグに対応する真正前景画像メモリの位置の値と、真正前景フラグに応じて０または１を対応する小領域分用意して、画素単位の論理積を取ることで真正前景画像メモリ内の対応する位置の値を修正する操作を繰り返す。全ての最大画素領域までの論理積による画像メモリ内の処理が完了すると完全な真正前景画像ができあがる。つまり、この画像メモリ内で１の現れる４ｘ４領域の場所は、その場所を含む８ｘ８画素領域より順次最大分割画素領域までが全て１である場合のみ生き残る。これによって、安定性の高い多重分割による真正前景画像フレームができあがる。
［００４７］
図２は多重分割特徴量生成部２０の実施例である。多重分割特徴量生成部２０はカメラ１０からの入力端子セット２００とＷＰＰ列２１０から構成される。また、入力端子セット２００はＲ成分信号入力端子２０１、Ｇ成分信号入力端子２０２、Ｂ成分信号入力端子２０３より構成されており、ＷＰＰ列２１０は３個のＷＰＰ２１１，ＷＰＰ２１２，ＷＰＰ２１３より構成される。ここで、ＷＰＰ２１１，ＷＰＰ２１２，ＷＰＰ２１３はすでに述べたように、非特許文献２の混合ガウスモデルによる多重解像度前景分離ＬＳＩ化プロセッサＷＰＰ（ＷａｌｓｈＰａｒａｍｅｔｅｒＰｒｏｃｅｓｓｏｒ）のことである。ＷＰＰは本来は輝度信号を入力すると入力フレーム画像を多重領域分割して個々の領域の輝度信号をＷａｌｓｈ変換し、領域毎の輝度平均となる最低スペクトル係数ｆ（ＤＣ）、および縦、横方向のスペクトル成分を重み加算したｆ（ＡＣＶ）とｆ（ＡＣＨ）を順次出力するものであった。しかし、今回の目的には領域の平均出力であるｆ（ＤＣ）だけを用い、ｆ（ＡＣＶ）やｆ（ＡＣＨ）は利用しない。
［００４８］
カメラ１０からのＲ成分信号、Ｇ成分信号、Ｂ成分信号は、Ｒ成分信号入力端子２０１，Ｇ成分信号入力端子２０２，Ｂ成分信号入力端子２０３に入力され、それぞれに直結されたＷＰＰ２１１，ＷＰＰ２１２およびＷＰＰ２１３に供給される。各ＷＰＰでは４ｘ４画素領域から最大画素領域までの多重分割した小領域ごとにＷａｌｓｈ変換による最低スペクトル係数を各ＷＰＰのｆ（ＤＣ）出力端子に出力する。つまり、それぞれＲ色成分、Ｇ色成分、Ｂ色成分の平均成分信号を出力する。具体的には、ＷＰＰ２１１のｆ（ＤＣ）がｆ（Ｒ）となり、ＷＰＰ２１２のｆ（ＤＣ）がｆ（Ｇ）となり、ＷＰＰ２１３のｆ（ＤＣ）がｆ（Ｂ）となる。よ

【００１７】
って、ＷＰＰ２１１，ＷＰＰ２１２，およびＷＰＰ２１３からの出力は多重解像度分割した小領域ごとの特徴量要素を順次出力することとなり、これらを順次中間前景処理部３０へ特徴量として伝える。
［００４９］
図３は影／反射領域除去部４０の動作フローチャートである。図３の動作フローチャートは入力データ整理ブロック３０１、真正前景フラグ検査ブロック３０２、影／反射除去実行検査ブロック３０３、基準特徴量要素決定ブロック３０４、影／反射検証特徴量要素設定ブロック３０５、影／反射検証基準特徴量要素排除ブロック３０６、基準特徴量要素ガウス分布調査開始ブロック３０７、基準修正係数ブロック３０８、基準外特徴量要素ガウス分布検証開始ブロック３０９、影／反射候補検証ブロック３１０、影／反射決定ブロック３１１、基準外特徴量要素ガウス分布検証終了検査ブロック３１２、基準特徴量要素ガウス分布調査終了検査ブロック３１３、特徴量要素変更ブロック３１４、前景分離特徴量要素処理終了検査ブロック３１５からなる。各々の特徴量要素に対してＭ個のガウス分布からなる混合ガウスモデルを用いた場合を想定しており、その中に背景ガウス分布は基準特徴量要素にはＰＭ個、基準でない特徴量要素にはＱＭ個ある場合を想定している。このフローチャートは、以下に述べるように先に述べた影と反射を検出する原理図６に従った動きをする。
［００５０］
まず、図３のフローチャートでは、入力データ整理ブロック３０１で混合ガウス中間前景処理部３０からのデータ収集整理を行う。収集するデータは小領域毎の修正する前の背景ガウス分布係数と３個の入力特徴量要素および中間前景フラグである。また、中間前景フラグの内容を真正前景フラグに移す。これは以降の処理で影／反射領域除去部４０との処理を干渉させないためである。
［００５１］
ついで、真正前景フラグ検査ブロック３０２では真正前景フラグがセットされているかどうかを検査する。セットされていない場合は背景領域であるため影／反射除去の対象にはならない。よって、この場合はそのままこのフローチャートの終了（Ｅｘｉｔ）へ直行する。また、真正前景フラグがセットされている場合は影／反射を検出するために影／反射除去実行検査ブロック３０３に進む。
［００５２］
影／反射除去実行検査ブロック３０３では小領域分割が４ｘ４画素ないし８ｘ８画素までの小領域以外の場合は影／反射除去を行わないとしている。ブロック内に書

【００１８】
かれた記号は小領域のサイズをａとし、このａがＳＥＳ（ＳｅｌｅｃｔｅｄＥｖａｌｕａｔｉｏｎＳｉｚｅｂｌｏｃｋ：４ｘ４画素か８ｘ８画素）に含まれるという意味である。このため、８ｘ８画素以上大きな分割領域では以下の影／反射領域除去処理の動作フローをバイパスして終了する。よって、小領域サイズがＳＥＳに属する場合のみ基準特徴量要素決定ブロック３０４に進む。
［００５３］
基準特徴量要素決定ブロック３０４では影／反射除去判定をするにあたり基準となる前景分離特徴量要素を決定する。このため、前景分離特徴量要素の中から最大の値を持つものを選択する。以下の説明の都合上ｆ（Ｒ），ｆ（Ｇ），ｆ（Ｂ）をこの順で番号付けしてｆ（１），ｆ（２），ｆ（３）とし、この番号で特徴量要素を示すことにする。最大の特徴量要素の値を最大値検出関数Ｍａｘで検出し、ｆ（Ｎ）とする。つまり、この最大要素の所属する要素番号をＮとして説明する。
［００５４］
続く影／反射検証特徴量要素設定ブロック３０５では影／反射領域を検査するための基準要素と組み合わせる特徴量要素を順次決定し以下の処理をループ処理で進めるためのものである。３つある特徴量要素に対して順次ループ処理で検討を行う。ここで設定した特徴量要素をｋ番目のものとして説明を進める。
［００５５］
次いで、影／反射検証基準特徴量要素排除ブロック３０６に移る。影／反射処理は基準特徴量要素とそれ以外の前景分離特徴量要素の１つを用いて行う。そのため、影／反射検証特徴量要素設定ブロック３０５で決定した基準特徴量要素と異なる特徴量要素を選ぶ必要がある。よって、影／反射検証特徴量要素設定ブロック３０５で設定した特徴量要素が基準特徴量要素でないかどうかを検査し、基準特徴量要素と同じ特徴量要素が設定されている場合は、特徴量要素変更ブロック３１４に進み、（ｋ＋１）番目の特徴量要素の準備をする。次いで、前景分離特徴量要素処理終了検査ブロック３１５で（ｋ＋１）番目が４番目以下のガウス分布を指定する場合は、影／反射検証特徴量要素設定ブロック３０５に戻る。特徴量要素変更ブロック３１４でｋ＝４の場合は特徴量要素が３個であるため、ここで動作フローチャートの終了部に進む。
［００５６］
影／反射検証基準特徴量要素排除ブロック３０６で基準特徴量要素と他の特徴量要素が見つかると、基準特徴量要素ガウス分布調査開始ブロック３０７に進む。ここでは基準特徴量要素を本来包含していたガウス分布が解らないので、基準特徴量要素に属する背景ガウス分布を順次呼び出して修正係数を求める処理

【００１９】
をループ処理で実行するためのループ設定を行う。基準特徴量要素には背景ガウス分布がＰＭ個あるとしており、基準特徴量要素が本来含まれるべき背景ガウス分布を総当たりで決める操作をループ処理で調べる。以下では現在ｐ番目のガウス分布を用いて検査する場合を想定する。
［００５７］
続く基準修正係数ブロック３０８では影／反射で共通に使われる第ｐ番目の修正係数Ａ（ｐ）を計算する。この修正係数はｐ番目の背景ガウスの平均μＮ（ｐ）を基準特徴量要素の値ｆ（Ｎ）で割ったもので、Ａ（ｐ）＝μＮ（ｐ）／ｆ（Ｎ）と記述している。
［００５８］
次の、基準外特徴量要素ガウス分布検証開始ブロック３０９では、基準修正係数ブロック３０８で得られた修正係数を用いて影／反射検証特徴量要素設定ブロック３０５により定まった基準特徴量要素ではない特徴量要素にはＱＭ個の背景ガウス分布があるとしており、その各々に対する検証をループ処理で実行するための背景ガウス分布の番号ｑを設定する。
［００５９］
続いて影／反射候補検証ブロック３１０では影／反射検証特徴量要素設定ブロック３０５で選択された基準外特徴量要素に基準修正係数ブロック３０８で求めた修正係数Ａ（ｐ）を乗じた値がこの要素に属するｑ番目の背景ガウス分布に含まれるかどうかを判断する。
［００６０］
影／反射候補検証ブロック３１０で影／反射であると判断されれば影／反射決定ブロック３１１に進み、真正前景フラグを下す。この操作は、影／反射検定で検査する基準特徴量要素以外の２つの特徴量要素での検証処理のうち１つでも影／反射であると判断すれば充分であるとしているため、影／反射決定ブロック３１１の処理が終われば直ちにこのフローチャートの終了に進む。
［００６１］
逆に影／反射候補検証ブロック３１０で現在処理中の背景ガウスには含まれない場合は、基準外特徴量要素ガウス分布検証終了検査ブロック３１２に進み、残りの背景ガウス分布がある場合は、（ｑ＋１）番目の背景ガウスに設定して基準外特徴量要素ガウス分布検証終了検査ブロック３１２を介して基準外特徴量要素ガウス分布検証開始ブロック３０９に戻り、影／反射領域チェックのループ処理を再度始める。
［００６２］
しかし、基準外特徴量要素ガウス分布検証終了検査ブロック３１２で修正特徴量要素を

【００２０】
包含できる残りの背景分布がもうない場合は基準修正係数ブロック３０８で定める修正係数では該当する背景ガウス分布が見あたらない。このため、基準特徴量要素ガウス分布調査終了検査ブロック３１３に進む。
［００６３］
基準特徴量要素ガウス分布調査終了検査ブロック３１３は基準特徴量要素の背景ガウス分布を次に代えるものがあると判断できれば、つまり換言すればｐ番目の基準特徴量要素の背景ガウス分布がＰＭ以下であった場合、基準特徴量要素ガウス分布調査開始ブロック３０７に戻り（ｐ＋１）番目の背景ガウス分布を設定して影／反射領域のチェックループ処理を開始する。一方、基準特徴量要素ガウス分布調査終了検査ブロック３１３で基準特徴量要素の背景ガウス分布をすべてチェックし終わっている場合は、この基準特徴量要素のガウス分布では影／反射領域がチェックできなかったので、非基準特徴量要素を変えるための前景分離特徴量要素変更ブロック３１４に進んで他の特徴量要素を選択するためｋを歩進し、前景分離特徴量要素処理終了検査ブロック３１５に進む。
［００６４］
前景分離特徴量要素処理終了検査ブロック３１５では、特徴量要素は３個しかないので、ｋを歩進した結果が４になるかどうかを検査する。４以下の場合は影／反射検証特徴量要素設定ブロック３０５に戻り新しい前景分離特徴量要素に対してこれまでと同じ要領で影／反射領域を見つける操作を行う。
［００６５］
しかし、前景分離特徴量要素処理終了検査ブロック３１５でｋが４であった場合は前景分離特徴量要素処理終了検査ブロック３１５を通過して動作フローチャートに沿った動作を終了する。つまり、この場合には真正前景フラグは立ったままであり、影や反射ではなかったことを意味する。以上で影／反射領域除去部４０の動作フローチャートは完了する。
［００６６］
以上のように上記の実施例に従えば、屋内における影や反射領域を取り除いた真正前景領域を抽出でき、また従来必要とされてきたレティネックス画像強調等を行なわなくともよくなる。この結果指先ジェスチャー入力などの演算量が飛躍的に減少し、消費電力の少ないウェアラブル端末用の入力システムが実現できる。
［００６７］
また図３のフローチャートは反射領域と影領域を同時に検出して中間前景領域

【００２１】
からそのような領域を消去するものになっているが、反射領域だけを検出したい場合には基準特徴量要素ガウス分布調査開始ブロック３０７で選ばれた基準特徴量要素ガウス分布の平均が基準特徴量要素の値より大きい時は直ちに基準特徴量要素ガウス分布調査終了検査ブロック３１３まで進む条件を設ければよい。この様にすることで反射領域のみの除去を実現できるため、演算量を約１／２に減らすことができる。
［００６８］
同様に影領域だけを検出したい場合には、基準特徴量要素ガウス分布調査開始ブロック３０７で選ばれた基準特徴量要素ガウス分布の平均が基準特徴量要素の値より小さい時は直ちに基準特徴量要素ガウス分布調査終了検査ブロック３１３まで進む条件を設ければよい。この様にすることで影領域のみの除去になるため、演算量を約１／２に減らすことができる。
［００６９］
また、図３の影／反射領域除去部のフローチャートでは中間前景領域で影もしくは反射の候補を検証するにあたり、ある特徴量要素が複数個の背景ガウス分布中のどの背景ガウス分布の包含領域から逸脱して前景領域になったか判定できないため、背景ガウス分布を総当たり方式で調べた。しかし、すでに述べたように、各特徴量要素のガウス分布に対して背景および前景ガウス分布を決定する過程で全てのガウス分布は重み係数の大きいもの順に並べ替えているため、異なる特徴量要素用のガウス分布の重み付け係数の大きいものからの順位が同じであれば、対応する背景ガウス分布と考えてよい。この場合は総当たり方式を回避できる。この場合の具体的な図３のフローチャートの修正は、基準外特徴量要素ガウス分布検証ブロック３０９と基準外特徴量要素ガウス分布検証終了ブロック３１２で構成されるループ処理を排除し、基準外特徴量要素ガウス分布検証ブロック３０９で与えられるｑ番目の基準外特徴量要素ガウス分布に変わり、基準特徴量要素決定ブロック３０４で定められたｐ番目の基準外特徴量要素ガウス分布を用いることで実現できる。このようにして実現する方法も本発明の一部である。
［００７０］
以上では修正係数を求めるのに繰り返し演算となる除算が必要となるが、非特許文献１で説明しているように、包含領域に関する領域の上限と下限に修

【００２３】
４０：影／反射領域除去部
５０：真正前景画像生成部
２００：入力端子セット
２０１：Ｒ成分信号入力端子
２０２：Ｇ成分信号入力端子
２０３：Ｂ成分信号入力端子
２１０：ＷＰＰ列
２１１：ＷＰＰ（ＷａｌｓｈＰａｒａｍｅｔｅｒＰｒｏｃｅｓｓｏｒ）
２１２：ＷＰＰ（ＷａｌｓｈＰａｒａｍｅｔｅｒＰｒｏｃｅｓｓｏｒ）
２１３：ＷＰＰ（ＷａｌｓｈＰａｒａｍｅｔｅｒＰｒｏｃｅｓｓｏｒ）
３０１：入力データ整理ブロック
３０２：真正前景フラグ検査ブロック
３０３：影／反射除去実行検査ブロック
３０４：基準特徴量要素決定ブロック
３０５：影／反射検証特徴量要素設定ブロック
３０６：影／反射検証基準特徴量要素排除ブロック
３０７：基準特徴量要素ガウス分布調査開始ブロック
３０８：基準修正係数ブロック
３０９：基準外特徴量要素ガウス分布検証開始ブロック
３１０：影／反射候補検証ブロック
３１１：影／反射決定ブロック
３１２：基準外特徴量要素ガウス分布検証終了検査ブロック
３１３：基準特徴量要素ガウス分布調査終了検査ブロック
３１４：前景分離特徴量要素変更ブロック
３１５：前景分離特徴量要素処理終了検査ブロック
４０１：前景時のｆ（ＤＣ）要素の影領域グラフ
４０２：他の特徴量要素グラフ
４０３：影検証グラフ

【００２４】
５０１：原画像写真
５０２：変換領域中間前景分離写真
５０３：変換領域影除去写真
６０１：基準特徴量要素の影領域グラフ
６０２：影領域の他要素グラフ
６０３：影検証グラフ
６０４：基準特徴量要素の反射領域グラフ
６０５：反射領域の他要素グラフ
６０６：反射検証グラフ
７０１：カラービデオの１カットを２値化した写真
７０２：多重解像度色平均ブロック特徴量による中間前景分離結果写真
７０３：多重解像度変換領域特徴量による影領域写真
７０４：真正前景分離結果の写真

Claims

カメラからの入力フレームを小領域に分割し、小領域内での色成分の平均を求めた色平均成分信号を特徴量の要素とするステップと、特徴量の各要素の確率的な変動に合わせて１個ないし複数の典型的な確率分布で小領域をモデル化しながら特徴量との比較により中間前景小領域を抽出するステップと、特徴量要素と背景確率分布の平均と分散により抽出された中間前景領域が影もしくは反射になった領域を特定して排除し真正前景領域を得るステップからなり、影もしくは反射による前景部分を含まない真正前景領域を抽出することを特徴とする画像処理装置。
特徴量の要素毎にその変動の確率分布を複数の典型的な確率分布で近似し、前景をモデル化している典型的確率分布と背景をモデル化している典型的確率分布に区別して用い、特徴量の要素が１個でも前景をモデル化している典型的確率分布に包含される場合を中間前景小領域とする上記1記載の中間前景分離を抽出するステップと中間小領域になった前景分離特徴量の要素の最大のものを基準要素として選択するステップと、基準要素に割り当てられた各々の背景を表す典型的確率分布の平均を基準要素の値で割った修正係数を求めるステップと、それぞれの修正係数を基準要素でない特徴量要素の値に乗じた値がその特徴量要素の背景を表す確率分布のいずれかに包含される場合を影または反射による中間前景小領域とみなして中間前景領域からから排除することで真正前景領域を作るステップからなる上記１記載の影/反射領域を排除した真正中間領域を抽出する画像処理装置。
フレーム画像をオーバラップしない小領域にまず分割し、次いでメッシュ状に並んだ小領域の縦横ともに2倍に拡大して先に分割した小領域を４個含む拡大小領域で画面を覆う分割操作を行い、この拡大小領域を作成する分割を複数回繰り返すことで多重分割するステップと、多重分割された各小領域で中間前景分離を行うステップと、小さい領域分割部の中間前景分離から影/反射領域除去を行なって影/反射なし前景領域とするステップと、影/反射なし最小前景領域であって、この影/反射なし最小前景小領域を包含する全ての拡大領域が影/反射なし前景領域または中間前景小領域であるものを真正前景小領域とすることで最終的な真正前景分離を行う上記１の画像処理装置。
上記３において中間前景領域から反射による中間前景部のみを排除する場合は、上記3の基準特徴量要素の求め方により求めた基準特徴量要素が背景確率分布の平均より大きい典型的背景確率分布からのみ修正係数を求める手段と、基準特徴量以外の特徴量要素に修正係数を乗じる手段と、乗じられた特徴量要素がその特徴量要素の背景確率分布に包含される中間前景部を排除して真正前景分離を行う画像処理装置。
上記３において中間前景領域から影による中間前景部のみを排除する場合は、上記3の基準特徴量要素の求め方により求めた基準特徴量要素が背景確率分布の平均より小さい典型的背景確率分布からのみ修正係数を求める手段と、基準特徴量以外の特徴量要素に修正係数を乗じる手段と、乗じられた特徴量要素がその特徴量要素の背景確率分布に包含される中間前景小領域を排除して真正前景分離を行う画像処理装置。
６．上記１より５において、基準要素の属する典型的確率分布の重み係数の大きいもの順に並べた典型的背景確率分布と基準外特徴量の重み係数の大きいもの順に並べた典型的背景確率分布との間で、同一順位の典型的背景確率分布のみを用いて影ないし背景に起因する中間前景領域の検証を行って真正前景領域を得る画像処理装置。