JP6774915B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、カメラ画像から被写体の領域を特定する技術に関する。

ある画像から所望の人物や物体だけを前景として検出する技術は、画像処理分野において広く知られている。これを実現する方法として、あらかじめ被写体が存在しない画を撮影して背景画像とし、同じ画角で被写体が映った画を入力画像として、入力画像と背景画像の差分を取ることで、被写体の領域を検出する背景差分法がある。また、画角内の撮影環境に緑や青など特定色のスクリーンを敷いておき、被写体が映った入力画像のうち、その特定の色相に該当する画素を検出して削除することで、残った領域を前景として検出するキーイング法などが提案されている。これらの被写体抽出手法は動画像に適用することが可能であり、動画中のある被写体だけをまったく異なる動画像に重畳する合成演出などに応用されている。

特許文献１では、被写体領域を求める上で、動画像のフレームを小領域に分割し、各領域で輝度値や色、ウェーブレット特徴、テクスチャ特徴、オプティカルフローなどの複数の特徴量を抽出している。また、各特徴が前景と背景をクラス分けする分離度（尤度）を求め、より尤度の高い複合的な特徴量を求めるためにフィッシャー判別を用いている。これらの処理により、前景と背景とが異なる動きをする動画像の場合でも動画像を前景と背景とに分離することができる。

非特許文献１では、カラー画像と同時にセンサ画像を取得しており、センサ画像によって被写体のおおまかな領域を検出している。この手法では前景と背景の境界部分を未知画素とし、各未知画素についてカラー画像中の色情報を近傍の画素と比較することで、前景または背景のラベルを付け直している。これらの処理により、前景を高速かつ精緻に検出することができる。

特許第４４５５９８０号公報

宮下広夢、外４名、"センサとカメラを活用した高速・高精度な被写体抽出"、電子情報通信学会MVE研究会、信学技報、2016年

特許文献１では、背景に動きがある場合でも動画像を前景と背景とに分離できるとしているが、そのためには被写体の色や形状から、あらかじめ特徴量を選定しておくことが前提となっている。そのため、想定していない被写体を前景として分離できる保証はない。また、各特徴量の計算、それら特徴量の分離度の計算、分離度に基づいた小領域の統合など、多くの計算処理が必要となっている。そのため、被写体によっては特徴量の算出に多大な計算を要し、解像度が高い動画像の場合などでは、高速に処理することができず、コマ落ちなどが発生してしまう恐れがある。

非特許文献１では、撮影機器としてカメラに加えてセンサを必要としており、例えば深度差や温度差などの前景と背景の関係によって、デプスセンサやサーモセンサなどを使い分ける必要がある。そのため、カメラだけを用いた撮影方法と比較すると、撮影機器の費用が著しく増大する可能性があり、また、センサとカメラの位置合わせ（キャリブレーション）の作業コストも発生する。

本発明は、上記事情を鑑みてなされたものであり、カメラワークや照明の変化などを伴った動画像についても、精緻かつ高速に前景となる被写体の領域を特定することを目的とする。

以上の課題を解決するため、請求項１に係る画像処理装置は、移り変わる背景を連続撮影した複数の背景画像のうちすべての２つの組み合わせについて背景画像の差分画像を二値化した二値化画像を予め生成しておき、背景前に被写体を含むカメラ画像を受信した場合、前記複数の背景画像のうちいずれかを仮の背景画像とし、前記カメラ画像と前記仮の背景画像との差分画像を二値化したクエリ用二値化画像を生成する差分計算部と、前記クエリ用二値化画像と前記仮の背景画像を組の一方とするすべての二値化画像とについて各画素の論理積をそれぞれ求め、真値の総画素数が最大の二値化画像を構成する組で前記仮の背景画像ではない背景画像を２つ目の仮の背景画像とし、前記カメラ画像と２つの仮の背景画像との２つの差分画像のうち真値の総画素数が低い差分画像に対応する仮の背景画像を真の背景画像とする背景決定部と、を備えることを特徴とする。

請求項２に係る画像処理装置は、請求項１に記載の画像処理装置において、前記差分計算部は、移動するカメラまたは照明器具の位置情報または移動後の経過時間を用いて前記複数の背景画像から仮の背景画像を特定することを特徴とする。

請求項３に係る画像処理装置は、請求項１または２に記載の画像処理装置において、前記差分計算部は、前記二値化画像および前記クエリ用二値化画像をそれぞれ構成する画像領域全体を複数の小領域に分け、真値を少なくとも１つ有する小領域内のすべての真理値を真値に変更し、前記背景決定部は、前記小領域ごとに前記各画素の論理積を求めることを特徴とする。

請求項４に係る画像処理装置は、請求項１ないし３のいずれかに記載の画像処理装置において、前記差分計算部は、前記カメラ画像と前記仮の背景画像との差分画像に対して、前記カメラ画像に含まれる被写体を被覆したマスク画像を適用することにより、前記クエリ用二値化画像を生成することを特徴とする。

請求項５に係る画像処理方法は、画像処理装置で行う画像処理方法において、前記画像処理装置は、移り変わる背景を連続撮影した複数の背景画像のうちすべての２つの組み合わせについて背景画像の差分画像を二値化した二値化画像を予め生成しておくステップと、背景前に被写体を含むカメラ画像を受信した場合、前記複数の背景画像のうちいずれかを仮の背景画像とし、前記カメラ画像と前記仮の背景画像との差分画像を二値化したクエリ用二値化画像を生成するステップと、前記クエリ用二値化画像と前記仮の背景画像を組の一方とするすべての二値化画像とについて各画素の論理積をそれぞれ求め、真値の総画素数が最大の二値化画像を構成する組で前記仮の背景画像ではない背景画像を２つ目の仮の背景画像とし、前記カメラ画像と２つの仮の背景画像との２つの差分画像のうち真値の総画素数が低い差分画像に対応する仮の背景画像を真の背景画像とするステップと、を行うことを特徴とする。

請求項６に係る画像処理プログラムは、請求項１ないし４のいずれかに記載の画像処理装置としてコンピュータを機能させることを特徴とする。

本発明によれば、カメラワークや照明などの変化を伴った動画像についても、精緻かつ高速に前景となる被写体の領域を特定することができる。

画像処理システムの全体構成を示す図である。 画像処理部の機能ブロック構成を示す図である。 実施例１での撮影環境を示す上空図である。 実施例１での事前撮影時に動作する画像処理部の機能ブロック構成を示す図である。 実施例１での事前撮影フローを示す図である。 実施例１での背景画像の例を示す図である。 実施例１での背景画像の差分画像と当該差分画像の変化領域画像の例を示す図である。 実施例１での被写体撮影時に動作する画像処理部の機能ブロック構成を示す図である。 実施例１での被写体撮影フローを示す図である。 実施例１でのカメラ画像の例を示す図である。 実施例１での差分画像と二値化画像とクエリ画像の例を示す図である。 実施例１での論理積画像の例を示す図である。 実施例１での真の背景画像の決定時に参照する参考図である。 実施例１での被写体の抽出結果を示す図である。 実施例２での撮影環境を示す上空図である。 実施例２での背景画像の例を示す図である。 実施例２でのカメラ画像とマスク画像の例を示す図である。 実施例２での差分画像と二値化画像とグリッド画像とクエリ画像の例を示す図である。 実施例２での論理積画像の例を示す図である。

以下、本発明を実施する一実施の形態について図面を用いて説明する。

本実施の形態に係る画像処理システム１の全体構成を図１に示す。当該画像処理システム１は、複数の機器によって構成される。まず、動画像を撮影するためのカメラ部１０は、主に通常のビデオカメラが想定され、例えばＨＤＭＩ（High-Definition Multimedia Interface）やＳＤＩ（Serial Digital Interface）などの規格に則って画像処理部３０に動画像を逐次送信する。また、位置測定部２０は、カメラ部１０に取り付けられた加速度センサやＧＰＳ（Global Positioning System）受信機など、主にカメラ部１０の位置やその変化を測定し、測定データを位置情報として画像処理部３０に逐次送信する。なお、本実施の形態では、位置情報として、絶対時刻や外部接続の機器からの信号など、カメラ部１０の位置座標そのものを測定しない場合も想定する。画像処理部３０は、動画像から被写体の領域を特定する機能を持つ。操作インタフェース部４０は、その機能に対する監視や操作をユーザが実施するための端末である。また、出力部５０は、通常のプロジェクタやディスプレイなどが想定され、画像処理部３０で合成した動画像を表示する。

次に、画像処理部３０の機能について説明する。図２は、画像処理部３０の機能ブロック構成を示す図である。画像処理部３０（画像処理装置）は、図２に示した通り、画像入力部３０１と、位置情報入力部３０２と、背景登録部３０３と、背景画像記憶部３０４と、差分計算部３０５と、変化領域画像記憶部３０６と、背景決定部３０７と、被写体抽出部３０８と、画像出力部３０９と、を備えて構成される。

画像入力部３０１は、カメラ部１０で撮影された動画像を画像処理部３０の内部に入力する機能部である。

位置情報入力部３０２は、位置測定部２０で測定されたカメラ部１０の位置情報を画像処理部３０の内部に入力する機能部である。位置情報とは、上述したように、例えば、カメラ部１０の緯度経度、撮影開始後の経過時間などである。

背景登録部３０３は、入力された動画像のうち撮像空間の背景のみが撮影された背景画像を、当該背景画像とともに入力された位置情報に関連付けて背景画像記憶部３０４に登録する機能部である。

差分計算部３０５は、移り変わる背景を連続撮影した複数の背景画像のうちすべての２つの組み合わせについて背景画像の差分画像を二値化した変化領域画像（二値化画像）を予め生成しておき、変化領域画像記憶部３０６に記憶させておく機能部である。

また、差分計算部３０５は、背景前に被写体を含むカメラ画像を受信した場合、複数の背景画像のうちいずれかを仮の背景画像とし、カメラ画像と仮の背景画像との差分画像を被写体を除いて二値化したクエリ画像（クエリ用二値化画像）を生成する機能部である。

背景決定部３０７は、クエリ画像と仮の背景画像を組の一方とするすべての変化領域画像とについて各画素の論理積をそれぞれ求め、真値の総画素数が最大の変化領域画像を構成する組で仮の背景画像ではない背景画像を２つ目の仮の背景画像とし、カメラ画像と２つの仮の背景画像（仮の背景画像および２つ目の背景画像）との２つの差分画像のうち真値の総画素数が低い差分画像に対応する仮の背景画像を真の背景画像として決定する機能部である。

被写体抽出部３０８は、決定された真の背景画像を背景画像記憶部３０４から取得し、当該真の背景画像を用いて、画像入力部３０１で入力していたカメラ画像から被写体を抽出する機能部である。

画像出力部３０９は、抽出された被写体に対して異なる動画像を重畳するなどの合成演出処理を行い出力部５０へ出力する機能部である。

次に、画像処理システム１の処理動作について説明する。本実施の形態では、カメラ部１０をスライド移動させ背景を変化させながら撮影する処理動作（実施例１）と、照明器具をスライド移動させ照明を変化させながら撮影する処理動作（実施例２）と、について説明する。

＜実施例１＞
実施例１では、カメラ部１０が直線状に移動するような撮影環境を例として説明する。図３は、撮影環境の簡易的な俯瞰図であり、上部の白い矩形領域Ａは撮影対象となる空間を示す。撮影対象となる空間には背景となる物体が設置されており、図中左から多肉植物の鉢、ブロック玩具の家および花壇、観葉植物の植木鉢とする。前景となる被写体Ｂはブロック玩具の車で、被写体撮影時には、図中左から右に向かって進むものとする。下部の図形はカメラ（カメラ部１０）を示しており、近傍の横線はカメラを直線状に移動させるためのトラッキングレールとする。カメラは前景となる車を追いかけるようにトラッキングレール上を平行移動するのみであり、それ以外のズームやパン・チルト操作はできないものとする。

本実施例では、あらかじめ背景だけを撮影しておく事前撮影フローと、被写体が撮影空間に入った状態で撮影し、動画像上の被写体の領域を特定する被写体撮影フローと、の２つのフローを行う。

まず、事前撮影フローについて、図４に示す事前撮影時に動作する画像処理部３０の機能ブロック構成と、図５に示すフローチャートにそって処理を具体的に説明する。

画像入力部３０１は、カメラ部１０からカメラ画像が送信されるたびに受信し、位置情報入力部３０２は、当該カメラ画像に対応する位置情報を受信する（ステップＳ１０１）。本実施例では、位置情報としてカメラ移動の経過時間が受信されるものとする。

次に、背景登録部３０３は、カメラ画像を背景画像として背景画像記憶部３０４に登録する（ステップＳ１０２）。このとき、画像の付加情報（メタデータ）として、位置情報を併せて登録する。

図６に登録された背景画像の例を示す。ここでは、左列のＢ_ｎは登録された背景画像を示す記号であり、ｎが通番と位置情報を兼ねるものとする。中央列の画像は入力されたカメラ画像であり、これが背景画像に該当する。右列は撮影環境を俯瞰したイメージ図であり、それぞれカメラの位置が異なっている。すなわち、Ｂ_１０からＢ_５０へと進むにしたがって、カメラが左側から右側へ横方向に移動しており、背景画像も多肉植物の植木鉢から観葉植物の植木鉢に向かって変化していることを示している。

続いて、操作インタフェース部４０からの指示によって背景画像の登録が終了すると、差分計算部３０５は、すべての背景画像の２つの組み合わせについて変化領域画像を生成する。

まず、差分計算部３０５は、２つの背景画像を背景画像記憶部３０４から取得し、互いに同一位置の画素ごとに画素値の差の絶対値を計算する（ステップＳ１０３）。この結果を差分画像という。さらに、差分計算部３０５は、差分画像をある閾値で二値化した画像を生成し、これを変化領域画像として変化領域画像記憶部３０６に登録する（ステップＳ１０４）。

図６に示した５つの背景画像が背景画像記憶部３０４に登録されている場合の変化領域画像の例を図７に示す。なお、図７では、特に組の一方がＢ_３０である変化領域画像のみ示している。左列が背景領域画像を示す記号、中央列が背景画像の組の差分画像、右列が差分画像を二値化した変化領域画像である。

例えば、｜Ｂ_１０−Ｂ_３０｜は、Ｂ_１０とＢ_３０の背景画像を組みとした変化領域画像を示す。｜Ｂ_３０−Ｂ_３０｜のように背景画像が同一である場合には、変化領域画像の画素はすべて偽値（ｆａｌｓｅ）となるため、この計算は省略してもよい。また、画素ごとに差の絶対値を計算するため、｜Ｂ_１０−Ｂ_３０｜と｜Ｂ_３０−Ｂ_１０｜のように組が同じ場合では変化領域画像が等しくなるので、これも省略してもよい。

なお、差分画像を二値化する閾値は、操作インタフェース部４０によってユーザが指定する。または、閾値を自動的に設定してもよく、例えば差分画像のヒストグラムを作成して平均値・分散値や画素数をもとに、画像の変化した領域が画像全体の特定の割合になるように設定する。

また、カメラ画像や背景画像の輝度値成分など特定の色成分だけを抽出してから差分画像を生成することで、さらに計算量の削減を図ってもよい。また、カメラ画像や背景画像の解像度を縮小して差分画像を生成してもよい。これらを採用した場合、以降の被写体撮影フローにおいて差分計算部３０５や背景決定部３０７は同様の処理を実施する。

つぎに、被写体撮影フローについて、図８に示す被写体撮影時に動作する画像処理部３０の機能ブロック構成と、図９に示すフローチャートにそって処理を具体的に説明する。

被写体撮影フローは、画像入力部３０１がカメラ画像を受信するたびに実施される。画像入力部３０１と位置情報入力部３０２には、事前撮影フローと同じ形式でカメラ画像と位置情報がそれぞれ入力されるものとする。図１０に被写体撮影フローで入力されたカメラ画像の例を示す。左列がカメラ画像を示す記号、中央列がカメラ画像、右列が撮影環境を俯瞰したイメージ図に対応する。ここで、ブロック玩具の車が前景となる。以降、カメラ画像Ｐ_ｎが入力されたときの処理を例に説明する。このとき、直前に入力されたカメラ画像Ｐ_ｎ−１に対する処理は完了しているものとする。

まず、差分計算部３０５は、カメラ画像とともに入力された位置情報をもとに、背景画像記憶部３０４から背景である確率が高い背景画像を仮の背景画像Ｂ_ａとして取得する（ステップＳ２０１）。例えば、位置情報がトラッキングレールの始点からのカメラの移動距離である場合、同じ位置情報が付加された背景画像を仮の背景画像Ｂ_ａとして取得する。位置情報がカメラ移動の経過時間である場合であっても同様の方法で背景である確率が高い背景画像を取得できる。

次に、差分計算部３０５は、カメラ画像Ｐ_ｎと仮の背景画像Ｂ_ａの差分画像｜Ｐ_ｎ−Ｂ_ａ｜を生成する（ステップＳ２０２）。

ここで、事前撮影フローと被写体撮影フローでカメラの移動速度が異なる場合、カメラ画像内の背景に対応しない背景画像を取得する可能性がある。図１１の上段は、前フレームでのカメラ画像Ｐ_ｎ−１と、それに対応する真の背景画像Ｂ_２０の差分画像｜Ｐ_ｎ−１−Ｂ_２０｜を示している。中段は、現フレームでのカメラ画像Ｐ_ｎと、それに対応する仮の背景画像Ｂ_３０の差分画像｜Ｐ_ｎ−Ｂ_３０｜を示している。｜Ｐ_ｎ−１−Ｂ_２０｜よりも｜Ｐ_ｎ−Ｂ_３０｜の画素値の総数が著しく高いことがわかるが、これは仮の背景画像Ｂ_３０がカメラ画像Ｐ_ｎに正しく対応していないことを示唆している。

このとき、カメラ画像と仮の背景画像との差分画像の画素値が十分に小さい場合や、過去の差分画像と比較して大きく変化していないことが検知できた場合は、この仮の背景画像を真の背景画像として決定し、以降の背景画像を決定する処理を省略してもよい。

そうでない場合、差分計算部３０５は、図１１のように、カメラ画像と仮の背景画像との差分画像と、前フレームの差分画像との差分を計算し、二値化してクエリ画像とする（ステップＳ２０３）。

以降、背景決定部３０７は、差分計算部３０５から入力されたクエリ画像と仮の背景画像をもとに、真の背景画像を決定する処理を実施する。なお、「前フレームの差分画像との差分」を計算するのは、「カメラ画像と仮の背景画像との差分画像」から被写体を排除するためである。この後に行う論理積演算対象の互いの画像がともに背景となるように調整している。但し、必ずしも前フレームで被写体のみが抽出されているとは限らず、被写体が動いている場合はクエリ画像中から被写体の領域を完全に取り除くことは難しいので、「前フレームの差分画像との差分」を計算する処理を省略してもよい。

続いて、背景決定部３０７は、仮の背景画像が組の一方となるすべての変化領域画像を取得し、クエリ画像と取得したすべての変化領域画像について、互いに同一位置の画素ごとに、各画素の論理積を求めた論理積画像を生成する（ステップＳ２０４）。

図１２は仮の背景画像がＢ_３０であるときの論理積画像を示す。Ｂ_３０が組の一方となるすべての変化領域画像、すなわち｜Ｂ_１０−Ｂ_３０｜から｜Ｂ_５０−Ｂ_３０｜までの変化領域画像と、クエリ画像とで画素ごとの論理積を計算している。

なお、｜Ｂ_３０−Ｂ_３０｜の画素はすべて偽値のため、この計算を省略してもよい。さらに、仮の背景画像と真の背景画像の位置情報が非常に近いと仮定できるとき、取得する変化領域画像を制限してもよい。例えば仮の背景画像がＢ_３０のとき、位置情報が近いＢ_２０とＢ_４０からなる変化領域画像、すなわち｜Ｂ_２０−Ｂ_３０｜と｜Ｂ_４０−Ｂ_３０｜だけを取得し、位置情報が遠いＢ_１０とＢ_５０からなる変化領域画像、すなわち｜Ｂ_１０−Ｂ_３０｜と｜Ｂ_５０−Ｂ_３０｜を取得せず、処理を省略してもよい。

次に、背景決定部３０７は、生成した論理積画像の総画素値を計算する（ステップＳ２０５）。論理積画像は二値化されているため、真値である画素の数が総画素値となる。この総画素数が最大となる変化領域画像を特定し、その変化領域画像を構成する組のうち、仮の背景画像ではない背景画像を２番目の仮の背景画像とする（ステップＳ２０６）。例えば図１２の場合、総画素数が最大となる論理積画像はＱ_ｎ∧｜Ｂ_４０−Ｂ_３０｜であり、仮の背景画像はＢ_３０であるため、２番目の仮の背景画像はＢ_４０となる。

次に、背景決定部３０７は、差分計算部３０５からカメラ画像と仮の背景画像の差分画像を取得し、さらにカメラ画像と２番目の仮の背景画像の差分画像を生成して、それら２つの差分画像を比較し、真値の総画素値が低い差分画像に対応する仮の背景画像を真の背景画像として決定する（ステップＳ２０７）。

図１３に、カメラ画像と仮の背景画像の差分画像｜Ｐ_ｎ−Ｂ_３０｜と、カメラ画像と２番目の背景画像の差分画像｜Ｐ_ｎ−Ｂ_４０｜を示す。｜Ｐ_ｎ−Ｂ_４０｜は｜Ｐ_ｎ−Ｂ_３０｜よりも真値の総画素値が低いため、この例ではＢ_４０が真の背景画像として決定される。

次に、被写体抽出部３０８は、画像入力部３０１が入力していたカメラ画像を取得し、また、背景決定部３０７から指示された真の背景画像を背景画像記憶部３０４から取得して、当該真の背景画像を用いてカメラ画像から被写体抽出を抽出する（ステップＳ２０８）。

この被写体抽出の処理については、差分画像を生成して二値化するものをはじめとして、一般的に用いられている手法を利用する。図１４の上段にカメラ画像Ｐ_ｎから被写体を抽出した結果を示す。カメラ画像Ｐ_ｎの前景であるブロック玩具の車の領域が真値で、それ以外の背景に該当する領域が偽値で表されている。

最後に、画像出力部３０９は、被写体抽出部３０８から入力されたカメラ画像や被写体抽出の結果をもとに、動画像の合成などを施して出力部５０へ結果画像を出力する（ステップＳ２０９）。図１４の下段ではカメラ画像のうち前景に該当する画素のみ画素値を残し、背景に該当する画素を白色に変換した場合を示している。この他に、背景に該当する画素を別の画像の画素に置き換えるなどの合成により、前景であるブロック玩具の車がまったく異なる画像に重畳されて表示されるといった演出が可能になる。

＜実施例２＞
次に、図１５の俯瞰図で示すように、カメラ部１０が固定されており、照明器具Ｃがレールに沿って移動するような撮影環境を例として説明する。なお、基本的な動作は実施例１に則ったものとし、実施例２では特に実施例１で述べられなかった異なる動作について、具体的に説明する。

図１６は、事前撮影フローにおいて、背景画像記憶部３０４に登録された背景画像を示している。本実施例で位置情報は照明器具が移動を開始してからの経過時刻とする。図中右列は各背景画像に対応する撮影環境の俯瞰図である。照明器具が左から右に移動するにつれ、背景画像中の照明が変化していることがわかる。事前撮影フローでは、実施例１と同様に、すべての背景画像の２つの組み合わせについて変化領域画像が生成され、変化領域画像記憶部３０６に予め記憶されている。

図１７の上段は、被写体撮影フローで入力されたカメラ画像を示している。このブロック玩具のヒトを前景として、以降の処理ではその領域を特定する。本実施例では、前フレームの差分画像が取得できないものとする。一方で、被写体の動く範囲が動画像上で非常に限定されているものとする。そこで、操作インタフェース部４０により被写体の動く範囲を図１７中段のように指定することで、図１７下段のような被写体を被覆したマスク画像を生成する。このマスク画像では真値が背景の主な領域を示し、偽値が前景の主な領域を示すものとする。

その後、被写体撮影フローにおいて、カメラ画像と位置情報が差分計算部３０５に入力されると、差分計算部３０５は、まず、当該位置情報をもとに、背景画像記憶部３０４から仮の背景画像Ｂ_ａを選択する。本実施例では仮の背景画像としてＢ_１０が選択されたものとする。

次に、差分計算部３０５は、カメラ画像Ｐ_ｎと仮の背景画像Ｂ_ａの差分画像を計算する。図１８上段はその例を示しており、左から、差分画像を示す記号、画素ごとに画素値の差の絶対値を計算した差分画像、その差分画像を二値化した画像、グリッドで構成した差分画像を示す。なお、（３２×２８）は、グリッド化された各小領域の画素サイズを示す。

グリッドは、画像領域全体を小領域に分割するための格子線である。変化領域画像やクエリ画像などの画像間での論理積演算を、複数の画素を含む小領域ごとに行うことで、以降の処理において計算量をさらに削減できる。例えば、グリッドで構成した差分画像を得るために、カメラ画像と仮の背景画像の差分の絶対値を二値化した画像を小領域ごとにスキャンし、真値が１つでもあった場合に小領域内のすべての真理値を真値に変換・変更する。このとき、他の基準で小領域を真値にしてもよく、例えば、小領域の面積の半分以上が真値のときに基準を満たすものとしてもよい。なお、グリッドを採用する場合には、事前撮影フローにおいても、差分計算部３０５でグリッドによる変化領域画像の変換を実施しておく。

次に、図１８下段のように、差分計算部３０５は、グリッドで構成した差分画像とマスク画像の画素ごとの論理積を小領域ごとに計算し、計算した画像をクエリ画像とする。なお、図中Ｍはマスク画像を意味する。マスク画像は、カメラ画像と仮の背景画像の差分を求めるときに適用してもよい。

その後、背景決定部３０７は、差分計算部３０５から入力されたクエリ画像と仮の背景画像から、真の背景画像を決定する処理を実施する。図１９に仮の背景画像がＢ_１０であるときの論理積画像を示す。左列は論理積画像を示す記号であり、右列は論理積画像を示す。背景決定部３０７は、変化領域画像記憶部３０６から仮の背景画像を組の一方とする変化領域画像を取得し、各変化領域画像について、画素ごとにクエリ画像との論理積を計算し、真値の総画素値を求める。

そして、背景決定部３０７は、真値の総画素値が最大の論理積画像に対応する変化領域画像を構成する背景画像の組のうち、仮の背景画像とは異なる背景画像を２番目の仮の背景画像とする。図１９では論理積画像Ｑ_ｎ∧｜Ｂ_２０−Ｂ_１０｜が最大の総画素値を持ち、仮の背景画像がＢ_１０であるため、２番目の仮の背景画像はＢ_２０となる。

以降、実施例１と同様の処理を行い、被写体を抽出した結果を出力部５０へ出力する。

＜効果１＞
従来の手法では、被写体を含むカメラ画像に対して、複数の背景画像との間で画素値の差分をすべて計算して真の背景画像を特定する。しかし、当該従来の手法では、すべての背景画像と間で差分計算を行うため、差分計算に係る計算量が非常に多くなり、カメラ画像から被写体を高速に抽出することができない。

一方、本実施の形態では、複数の背景画像のうちすべての２つの組み合わせについて背景画像の差分画像を事前に計算し、かつ、当該差分画像を二値化した変化領域画像を予め生成しておく。そして、背景前に被写体を含むカメラ画像を受信した場合、複数の背景画像のうちいずれかを仮の背景画像とし、カメラ画像と仮の背景画像との差分画像を被写体を除いて二値化したクエリ画像を生成する。そして、クエリ画像と仮の背景画像を組の一方とするすべての変化領域画像とについて各画素の論理積をそれぞれ求め、真値の総画素数が最大の変化領域画像を構成する組で仮の背景画像ではない背景画像を２つ目の仮の背景画像とし、カメラ画像と２つの仮の背景画像との２つの差分画像のうち真値の総画素数が低い差分画像に対応する仮の背景画像を真の背景画像とする。

つまり、本実施の形態では、複数の背景画像について、すべての２つの背景画像間の差を示す変化領域画像を予め生成しておき、仮の背景画像をもとに複数の変化領域画像から２つ目の仮の背景画像を特定し、それら２つの仮の背景画像の中から真の背景画像を決定するので、複数の背景画像のすべてではなく、その一部の背景画像を用いて真の背景画像を特定することができる。また、背景画像の差分画像を二値化した変化領域画像を用いるので、差分計算を論理演算に置き換えることができる。その結果、カメラワークや照明の変化などを伴った動画像についても、精緻かつ高速に前景となる被写体の領域を特定することができる。

＜効果２＞
本実施の形態では、移動するカメラまたは照明器具の位置情報または移動後の経過時間を用いて複数の背景画像から仮の背景画像を特定するので、変化領域画像の取得数を抑えることができ、２つ目の仮の背景画像をより精度よく特定することができる。

位置情報がない場合、仮の背景画像は、固定値やランダム値、または、過去の画像フレームで採用した値から特定するしかない。そのため、仮の背景画像の信頼性が低く、２つ目の仮の背景画像を特定するために、その値を組とするすべての変化領域画像を取得する必要がある。

一方、本実施の形態で述べたように、位置情報を用いて、仮の背景画像と、その仮の背景画像の近傍にある背景画像の組から得た変化領域画像だけを取得すれば、２つ目の仮の背景画像を高精度に特定することができる。

＜効果３＞
本実施の形態では、画像領域を画素領域よりも大きい小領域に区分するグリッド化処理を行い、当該小領域ごとに画像間の論理積計算を行うので、計算処理の回数や負担をさらに削減することができる。

＜効果４＞
本実施の形態では、カメラ画像と仮の背景画像の差分画像（グリッド画像）に対してマスク画像を用いて論理積計算を行うので、被写体の色や動きの影響を受けずに真の背景を特定することができる。

以上、本実施の形態では、実施例１と実施例２とについてそれぞれ説明したが、それら２つの実施例を組み合わせることも可能である。

最後に、本実施の形態で説明した画像処理システム１は、上記機能を備えるコンピュータなどで実現可能である。また、画像処理システム１としてコンピュータを機能させるための画像処理プログラム、当該画像処理プログラムの記憶媒体を作成することも可能である。

１…画像処理システム
１０…カメラ部
２０…位置測定部
３０…画像処理部
４０…操作インタフェース部
５０…出力部
３０１…画像入力部
３０２…位置情報入力部
３０３…背景登録部
３０４…背景画像記憶部
３０５…差分計算部
３０６…変化領域画像記憶部
３０７…背景決定部
３０８…被写体抽出部
３０９…画像出力部

Claims (6)

1. 移り変わる背景を連続撮影した複数の背景画像のうちすべての２つの組み合わせについて背景画像の差分画像を二値化した二値化画像を予め生成しておき、背景前に被写体を含むカメラ画像を受信した場合、前記複数の背景画像のうちいずれかを仮の背景画像とし、前記カメラ画像と前記仮の背景画像との差分画像を二値化したクエリ用二値化画像を生成する差分計算部と、
   前記クエリ用二値化画像と前記仮の背景画像を組の一方とするすべての二値化画像とについて各画素の論理積をそれぞれ求め、真値の総画素数が最大の二値化画像を構成する組で前記仮の背景画像ではない背景画像を２つ目の仮の背景画像とし、前記カメラ画像と２つの仮の背景画像との２つの差分画像のうち真値の総画素数が低い差分画像に対応する仮の背景画像を真の背景画像とする背景決定部と、
   を備えることを特徴とする画像処理装置。
2. 前記差分計算部は、
   移動するカメラまたは照明器具の位置情報または移動後の経過時間を用いて前記複数の背景画像から仮の背景画像を特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記差分計算部は、
   前記二値化画像および前記クエリ用二値化画像をそれぞれ構成する画像領域全体を複数の小領域に分け、真値を少なくとも１つ有する小領域内のすべての真理値を真値に変更し、
   前記背景決定部は、
   前記小領域ごとに前記各画素の論理積を求めることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記差分計算部は、
   前記カメラ画像と前記仮の背景画像との差分画像に対して、前記カメラ画像に含まれる被写体を被覆したマスク画像を適用することにより、前記クエリ用二値化画像を生成することを特徴とする請求項１ないし３のいずれかに記載の画像処理装置。
5. 画像処理装置で行う画像処理方法において、
   前記画像処理装置は、
   移り変わる背景を連続撮影した複数の背景画像のうちすべての２つの組み合わせについて背景画像の差分画像を二値化した二値化画像を予め生成しておくステップと、
   背景前に被写体を含むカメラ画像を受信した場合、前記複数の背景画像のうちいずれかを仮の背景画像とし、前記カメラ画像と前記仮の背景画像との差分画像を二値化したクエリ用二値化画像を生成するステップと、
   前記クエリ用二値化画像と前記仮の背景画像を組の一方とするすべての二値化画像とについて各画素の論理積をそれぞれ求め、真値の総画素数が最大の二値化画像を構成する組で前記仮の背景画像ではない背景画像を２つ目の仮の背景画像とし、前記カメラ画像と２つの仮の背景画像との２つの差分画像のうち真値の総画素数が低い差分画像に対応する仮の背景画像を真の背景画像とするステップと、
   を行うことを特徴とする画像処理方法。
6. 請求項１ないし４のいずれかに記載の画像処理装置としてコンピュータを機能させることを特徴とする画像処理プログラム。