JP7233873B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、撮像画像から背景画像を生成する技術に関するものである。

カメラを用いて撮像された撮像画像から背景画像を生成する技術がある。特許文献１には、フレームバッファに記憶された入力画像と、その１時刻前の入力画像との差分を検出し、変化が検出された画素をカウントアップすることが記載されている。そして、カウントアップした値が所定値に達した場合、その画素を背景画像の更新に用いることが記載されている。

特開２００１―４３４５８号公報

撮像環境の変化やノイズ等の影響により、検出される差分が必ずしも適切な値になるとは限らない。特許文献１の技術では、背景画像の更新が画素ごとに行われる。このため、いわゆる孤立点が発生し、背景として更新すべき領域に欠損点が生じたり、背景として更新しなくてよい領域に更新対象の画素が生じたりする。この結果、適切な背景画像が生成されない可能性がある。

本発明は、適切な背景画像を生成することを目的とする。

本発明の一態様に係る画像処理装置は、複数の検出期間を含む特定の期間において撮像装置によって撮像された画像を取得する取得手段と、前記取得手段により取得された画像に基づいて、前記複数の検出期間それぞれにおいて、検出期間内で画素値の変化が閾値未満の画素で構成される第一の領域を検出する検出手段と、前記検出手段により検出された前記複数の検出期間に対応する複数の第一の領域が重複する第二の領域を特定する特定手段と、前記特定手段により特定された前記第二の領域と、前記取得手段により取得された前記画像とに基づいて、背景画像を更新する更新手段と、を有し、前記特定手段は、それぞれ異なるタイミングで開始される複数の検出期間において前記第二の領域を特定し、複数の前記検出期間を合計した期間を、前記第二の領域を特定する数で除した値に相当する量だけ順次タイミングをずらして前記第二の領域を特定することを特徴とする。

本発明によれば、適切な背景画像を生成することができる。

システムの概略構成を説明する図である。 画像処理装置の内部構成を示す図である。 フローチャートを示す図である。 フローチャートを示す図である。 背景画像の生成処理を説明する図である。 継続領域が決定される例を示す図である。 更新領域決定部で行われる処理を説明する図である。 更新領域決定部で行われるフローチャートを示す図である。 背景画像生成部で行われる処理を説明する図である。 画像処理装置の内部構成を示す図である。 背景画像の生成処理を説明する図である。 画像処理装置の内部構成を示す図である。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜＜実施形態１＞＞
本実施形態では、仮想視点画像の生成に用いられる背景画像を生成する形態を説明する。まず、実施形態の理解を容易にするために、仮想視点画像の概要を簡単に説明する。複数の視点で撮像された複数視点の画像を用いて、任意の仮想視点における仮想視点画像を生成する技術がある。例えば、仮想視点画像を用いると、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴閲覧することができるので、通常の画像と比較してユーザに高臨場感を与えることができる。

仮想視点画像を生成する際には、主な被写体（オブジェクト）である前景を背景部分から切り離してモデル化した上でレンダリングする処理が行われる。前景をモデル化する際には、複数のカメラから見たときの前景のシルエットに相当する前景マスクの情報と前景のテクスチャの情報（例えば前景の各画素のＲ、Ｇ、Ｂの色情報）とが必要となる。

前景を背景部分から切り離す処理は、前景背景分離処理と呼ばれる。前景背景分離処理は、前景領域の推定を行う処理であり、一般的に背景差分法によって行われる。背景差分法とは、背景画像と、前景を含む入力画像との差分を求め、差分値が所定の閾値以上と判定された画素の集まりである領域を前景領域とする、というものである。つまり、前景を求めるために、背景画像が必要となる。

背景画像は、基本的には、前景を撮像領域から除いた状態で撮像された入力画像を背景画像として利用することができる。ただし、撮像環境・撮像条件が同じ状態であるとは限らない、例えば、屋外で撮像する場合、時間によって日ざしの状況が変化する。また、天候の変化によって、環境の照度が変化する。このような変化に追従する背景画像を生成することが求められている。

以下で説明する実施形態では、このような撮像環境の変化に追従することができ、かつ、孤立点などを除去した背景画像を生成する形態を説明する。なお、本実施形態では、背景画像が仮想視点画像の生成に用いられる例を説明するが、必ずしも仮想視点画像の生成に用いられるものでなくてよい。このため、複数カメラ間の相対的な幾何学的設置条件に縛られるものではない。さらには、複数のカメラを用いる形態でなくてもよい。例えば、構内、遠隔地、または屋外に設置された監視カメラなどの単一のカメラで撮像した画像の背景画像の生成に用いられる形態でもよい。

＜システム構成＞
図１は、本実施形態のシステム１００の概略構成を説明する図である。競技場１０１の周囲に、複数のカメラ１０２が並べて配置されている。複数のカメラ１０２によって、複数の視点から競技場１０１が撮像されるように構成されている。競技場１０１では、例えばサッカーなどの競技が行われており、競技場１０１の中に前景のオブジェクトとなる人物１０３が存在しているものとする。オブジェクトとは、例えば選手、監督、または審判等の特定の人物である。オブジェクトは、ボール、またはゴール等のように画像パターンが予め定められている物体であってもよい。また、オブジェクトは動体であってもよいし、静止体であってもよい。

各カメラ１０２は、データ伝送のための入出力ハードウェアを備えている。カメラ１０２同士は、例えばネットワークケーブルを使ってリング型のネットワーク接続がされており、ネットワークを介して隣のカメラへ画像データを順次伝送するように構成されている。つまり、カメラは、受信した画像データと、自身のカメラで撮像して得られた画像データとを併せて隣のカメラに伝送するように構成されている。カメラ１０２のうちの一つは画像処理装置２００に接続されており、各カメラ１０２の画像データは、画像処理装置２００まで伝送される。画像処理装置２００では、受信した各画像データを用いて、仮想視点画像を生成する処理が行われる。

＜画像処理装置の構成および処理＞
図２は、画像処理装置２００の内部構成を示すブロック図である。画像処理装置２００は、画像取得部２０１、フレーム画像保存部２０２、不変領域検出部２０３、継続領域決定部２０４、更新領域決定部２０５、背景画像生成部２０６を備える。また、背景差分処理部２０７、前景テクスチャ生成部２０８、仮想視点画像生成部２０９を備える。本実施形態における画像処理は、画像処理装置に内蔵されたＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field programmable gate array）などを備える。図２に示した各モジュールは、ハードウェアとしてＡＳＩＣやＦＰＧＡの内部に実装されている。なお、画像処理装置２００は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、およびＨＤＤを含む情報処理装置として構成されてもよい。そして、ＣＰＵがＲＯＭ等に記憶されたプログラムをＲＡＭに読み出して実行することで、ＣＰＵが図２に示す各部として機能する形態でもよい。即ち、画像処理装置２００は、ソフトウェアのモジュールとして図２に示す各モジュールを実現してもよい。

図３および図４は、画像処理装置２００で行われるフローチャートの一例を示す図である。図３および図４のフローチャートで示される一連の処理は、ＣＰＵがＨＤＤに記憶されているプログラムコードをＲＡＭに展開し実行することにより行われる。あるいはまた、図３および図４におけるステップの一部または全部の機能をＡＳＩＣ、ＦＰＧＡ、または電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する。以下、図２から図４を参照して、画像処理装置２００の構成および処理の概要を説明する。

Ｓ３０１において画像取得部２０１は、カメラ１０２が撮像した撮像画像の画像データを取得する。撮像画像は、時間的に連続して撮像された静止画または動画像のフレームなどの画像である。以下、画像取得部２０１に入力される、時間的に連続する入力画像の中のある１フレームの画像をフレーム画像という。画像取得部２０１では取得したフレーム画像に対して、画像の揺れや振動の補正、レンズ歪などの画像の歪みの補正、および、色調整・ガンマ調整などの前処理が行われる。

Ｓ３０２においてフレーム画像保存部２０２は、画像取得部２０１で取得されたフレーム画像を保存する。尚、画像取得部２０１は、フレーム画像を継続的に取得している。従って、ある時刻Ｔｘにおいて、画像取得部２０１で取得されたフレーム画像と、フレーム画像保存部２０２に保存されたフレーム画像とは、異なる時刻に撮像されたフレーム画像となる。

Ｓ３０３において不変領域検出部２０３は、画像取得部２０１で新たに取得されたフレーム画像と、フレーム画像保存部２０２で保存されているフレーム画像とを、画素ごとに比較する。即ち、不変領域検出部２０３は、第一の時刻で撮像されフレーム画像保存部２０２で保存されている第一のフレーム画像と、第一の時刻の後の第二の時刻で撮像され画像取得部２０１で取得された第二のフレーム画像とを比較する。そして、差分が所定の閾値未満の画素によって構成される不変領域を検出する。第一の時刻と第二の時刻との間を不変検出期間という。なお、不変領域は、差分が所定の閾値未満の変化は許容し得る領域であり、全く変化がない領域とは限らない。なお、領域は、複数の画素で構成されるが、複数の画素はすべてつながっている必要なく、２つ以上に分離されていてもよい。また、領域を構成する複数の画素は、互いに離れていてもよい。また、差分が所定の閾値未満となる画素が１つの場合であっても本実施形態を適用することができる。所定の閾値は、フレーム画像のノイズ等を考慮した値を適宜設定すればよい。不変領域検出部２０３は、検出した不変領域を継続領域決定部２０４に出力する。詳細は後述する。

Ｓ３０４において継続領域決定部２０４は、一定の判定期間（継続判定期間という）が経過したかを判定する。継続判定期間が経過していない場合、処理はＳ３０１に戻る。継続判定期間が経過している場合、Ｓ３０５に進む。Ｓ３０５において継続領域決定部２０４は、継続判定期間においてＳ３０３で検出されている不変領域が継続し続けている領域である継続領域を決定する。継続領域決定部２０４は、決定した継続領域を更新領域決定部２０５に出力する。詳細は後述する。

Ｓ３０６において更新領域決定部２０５は、継続領域に空間的なフィルター処理（孤立点除去などの空間的平滑化処理）を行い、背景更新領域を決定する。更新領域決定部２０５は、決定した背景更新領域を背景画像生成部２０６に送る。空間的なフィルター処理により、空間的な相関に基づいた確からしさを向上させた背景更新領域を決定することができる。詳細は後述する。

Ｓ３０７において背景画像生成部２０６は、画像取得部２０１で取得されたフレーム画像と更新領域決定部２０５で決定された背景更新領域とに基づいて、背景画像の画像データを生成する。例えば、背景画像生成部２０６は、前回生成した背景画像の画像データを保持している。そして、背景画像生成部２０６は、フレーム画像のうち、背景更新領域に対応する画素の画素値で、前回生成した背景画像の画像データにおける対応する画素の画素値を更新する。このようにして、背景画像を更新することで、背景画像の画像データが生成される。背景画像生成部２０６で生成された背景画像の画像データは、背景差分処理部２０７および仮想視点画像生成部２０９に出力される。

以上が、背景画像が生成される一連の処理である。背景画像の生成に着目した場合、Ｓ３０７の処理の後に、一連の処理を終了させてもよい。このような処理を繰り返し行うことで、環境変化に追従させた背景画像を生成することができる。本実施形態は、仮想視点画像を生成する形態を説明するので、続いて、図４を用いて仮想視点画像の生成に関連する処理を説明する。図４の処理は、Ｓ３０７の処理に引き続き行うことができる。

Ｓ４０１において背景差分処理部２０７は、画像取得部２０１で取得されたフレーム画像と背景画像生成部２０６で生成された背景画像とを用いて前景マスクを生成する。背景差分処理部２０７は、前述したように、前景背景分離処理（背景差分処理）を行い、前景領域を示すマスク画像（前景マスク）を生成する。前景マスクは、前景テクスチャ生成部２０８と仮想視点画像生成部２０９とに出力される。

Ｓ４０２において前景テクスチャ生成部２０８は、画像取得部２０１で取得されたフレーム画像と背景差分処理部２０７によって生成された前景マスクとを用いて前景テクスチャを生成する。前景テクスチャは、例えば前景マスクによって示されている前景に対応する領域の各画素のＲ、Ｇ、Ｂなどの色情報のことである。前景テクスチャは、仮想視点画像生成部２０９に出力される。

Ｓ４０３において仮想視点画像生成部２０９は、前景テクスチャ、前景マスク、および背景画像を用いて仮想視点画像を生成する。なお、先に説明したように、カメラ１０２は複数視点に対応する位置に設置されている。仮想視点画像生成部２０９には、複数のカメラ１０２で撮像された撮像画像に基づいて生成された前景テクスチャ、前景マスク、背景画像がそれぞれ入力されており、これらのデータを用いて仮想視点画像が生成される。例えば、仮想視点画像生成部２０９は、複数視点の前景マスクおよび前景テクスチャを用いて、撮像シーン内に存在する各オブジェクトの３次元形状推定処理を実行する。推定手法としては、オブジェクトの輪郭情報を用いるＶｉｓｕａｌ－ｈｕｌｌ手法、または三角測量を用いたＭｕｌｔｉ－ｖｉｅｗ ｓｔｅｒｅｏ手法など公知の手法を適用すればよい。これにより、オブジェクトの３次元形状を表すデータ（例えば、ポリゴンデータまたはボクセルデータ）が生成される。

また、仮想視点画像生成部２０９には、仮想視点を表す仮想カメラのカメラパラメータ等が入力される。仮想視点画像生成部２０９は、仮想カメラのパラメータに従って、仮想視点画像を生成する。仮想視点画像は、形状推定処理で得られたオブジェクトの３Ｄ形状データを用いて、仮想カメラから見た画像をコンピュータグラフィックスの技術を用いることで生成することができる。この生成処理には公知の技術を適宜適用すればよく、本実施形態の主眼ではないので説明は省略する。

以上が画像処理装置２００の構成および処理の説明である。なお、背景差分処理部２０７、前景テクスチャ生成部２０８および仮想視点画像生成部２０９は、画像処理装置２００とは別の装置の構成として実現されている形態でもよい。

＜背景画像の生成の説明＞
図５は、画像処理装置２００において行われる背景画像の生成処理を詳細に説明する図である。図５は、左から右に時間軸が進む図である。項目５０１は、画像取得部２０１から出力される動画像を示す。

項目５０２は、不変領域検出部２０３の動作を示す。不変領域ＩＡは、項目５０１における不変検出期間Ｔ１の時間差のフレーム画像間で検出される不変領域を模したものである。即ち、不変領域検出部２０３は、第一の時刻で取得された第一のフレーム画像と、第一の時刻より時刻Ｔ１の後に取得された第二のフレーム画像とを画素ごとに比較する。そして、差分が所定の閾値未満の画素によって構成される不変領域ＩＡが検出される。即ち、不変領域ＩＡは、不変検出期間Ｔ１内（第一の期間内）で、画素値の変化が所定の閾値未満の画素で構成される領域である。不変検出期間Ｔ１は、例えば前景の動く速さおよび撮像の画角などから適宜決められる。

項目５０３は、継続領域決定部２０４の動作を示す。継続領域決定部２０４は、継続判定期間Ｔ２の間、不変領域検出部２０３で検出された不変領域の論理積（ＡＮＤ）を継続的に求める。これにより、継続判定期間Ｔ２の間、不変領域であり続けた継続領域が決定される。

項目５０４は、更新領域決定部２０５の動作を示す。更新領域決定部２０５は、決定された継続領域に基づいて背景更新領域を決定する。更新領域決定部２０５は、継続領域に空間的なフィルター処理を行うことで背景更新領域を決定する。

項目５０５は、背景画像生成部２０６の動作を示す。背景画像生成部２０６は、画像取得部２０１が出力する動画像のフレーム画像のうち、背景更新領域に対応する領域を用いて前回生成した背景画像を更新して新たに背景画像を生成する。背景画像生成部２０６は、継続判定期間Ｔ２毎に、更新領域決定部２０５から送られる背景更新領域に基づいて、背景画像を順次生成し出力する。つまり、継続判定期間Ｔ２が、背景更新期間Ｔ３＿１に相当する。なお、背景画像の生成に用いられるフレーム画像は、継続判定期間Ｔ２において最新のフレーム画像を用いることが好ましい。環境変化などの追従性を高め、その時点における適切な背景画像を生成することができるからである。しかしながら、必ずしも継続判定期間Ｔ２において最新のフレーム画像でなくてもよい。例えば最新のフレーム画像の数フレーム前のフレーム画像を用いてもよい。つまり、背景更新期間Ｔ３＿１は、必ずしも継続判定期間Ｔ２と一致していなくてもよい。

図６は、不変領域から継続領域が決定される具体例を示す図である。フレーム画像６０２は、画像取得部２０１から出力された現在のフレーム画像である。フレーム画像６０１は、フレーム画像保存部２０２に保存されている、不変検出期間Ｔ１だけ過去のフレーム画像である。フレーム画像６０２内の矢印は、フレーム画像６０１内の前景（人物）が、不変検出期間Ｔ１において移動した方向と大きさを示す。

マスク画像６１０は、不変領域検出部２０３によって検出され、出力される不変領域を示すデータ（画像データ）である。マスク画像６１０は、フレーム画像６０２とフレーム画像６０１との各画素の画素値の差が、所定の閾値未満である領域を白で示し、閾値以上の領域を黒で示している画像である。即ち、不変領域は、マスク画像６１０の白画素で示す領域に相当する。

図６の下段には、継続領域決定部２０４の内部データ、すなわち作成途中の継続領域のデータを示している。継続領域決定部２０４は、不変領域の論理積（ＡＮＤ）を、不変検出期間Ｔ１の周期毎に順次求めている。マスク画像６２１は、現在よりも不変検出期間Ｔ１だけ過去における時点の継続領域を示す。マスク画像６２１中の破線で示す部分が、現在求められているマスク画像６２２の継続領域に新たに黒画素として加わっている。なお、マスク画像６２１中の破線は、説明のために付したものであり、実際には、破線は存在しない。マスク画像６１０の白画素の領域（不変領域）と、マスク画像６２１の白画素の領域（継続領域）との論理積（ＡＮＤ）が、マスク画像６２２の白画素の領域と決定される。換言すれば、継続判定期間Ｔ２の間に、前景が一度でも入り込んだ部分については、継続領域とは判定されず、継続領域を示すマスク画像において黒画素となる。このような論理積（ＡＮＤ）を求める処理が所定の回数に至った段階で、継続領域決定部２０４は、継続領域の作成を完了し、継続領域を更新領域決定部２０５に出力する。なお、本実施形態では、論理積（ＡＮＤ）を求める回数を８回としているが、これに限られるものではない。

図７は、更新領域決定部２０５で行われる処理を説明する図である。マスク画像７１０は、継続領域決定部２０４から入力した継続領域を示すデータである。本実施形態では、継続領域決定部２０４における論理積（ＡＮＤ）を求める回数は、８回である。前景が常に動いていれば、その動きに合わせて一つの被写体ごとに８個の黒いシルエットが見られる。

ここで、継続領域を示すマスク画像７１０には、白い部分に黒いゴミ(様々な大きさの孤立点など)があったり、黒い部分には白いゴミ（様々な大きさの孤立点）があったりする。なお、図６で説明した例では、孤立点の表示は省略している。このような孤立点は、撮像環境の変化やフレーム画像のノイズ等の様々な要因によって生じ得るものである。更新領域決定部２０５は、これらの孤立点を空間的なフィルター処理によって除去し、空間的な相関が得られている背景更新領域を決定する。マスク画像７２０は、決定された背景更新領域を示すデータである。

なお、本実施形態では、差分が所定の閾値未満の画素を画素ごとにカウントして、背景更新領域を決定するのではなく、不変領域が所定の期間継続している継続領域を決定している。そして、その継続領域を用いて背景更新領域を決定している。このように、本実施形態では、個々の画素単位ではなく、空間的な相関が得られている継続領域を単位として処理を行う。このため、空間的なフィルター処理によって孤立点を除去することができる。

図８は、更新領域決定部２０５のフローチャートの一例を示す図である。図８を用いて空間的なフィルター処理（空間的平滑化処理）を説明する。

Ｓ８０１において更新領域決定部２０５は、継続領域決定部２０４から出力された継続領域を示すデータ（マスク画像）を取得する。Ｓ８０２において更新領域決定部２０５は、取得した継続領域に対してクロージング処理を行う。クロージング処理とは、所定の画素数（Ｎ１画素）の膨張処理を行い、その後、同一の画素数の収縮処理を行う処理である。即ち、膨張処理と縮小処理とがセットで行われる処理である。膨張処理は、所定サイズ（Ｎ１画素）のフィルターを用いて行われる。例えば、所定サイズ内において一つでも白の画素があれば、そのサイズ内の画素を全て白の画素に置き換える。膨張処理により、黒い孤立点が消滅する。ただし、白の領域が膨張するので、マスク部分（不変領域）が一回り大きくなる。これを解消するため、縮小処理が行われる。収縮処理は、膨張処理と同じ所定サイズのフィルターを用いて行われ、所定サイズ内において一つでも黒の画素があれば、そのサイズ内の画素を全て黒の画素に置き換える。膨張処理および収縮処理はこの例に限られるものではなく、他の方法を用いて膨張処理および収縮処理が行われてよい。例えば、膨張処理においては、所定サイズ内において白の画素の個数または白の画素の占める割合が、所定の閾値を超えている場合に、そのサイズ内の画素を全て白の画素に置き換える処理としてもよい。この場合、縮小処理についても、膨張処理に合わせた処理を行えばよい。このようなクロージング処理を行うことにより、図７のマスク画像７１０の白い部分の黒ノイズが解消される。なお、Ｎ１はノイズの大きさ分布から決められる。

Ｓ８０３において更新領域決定部２０５は、オープニング処理を行う。オープニング処理とは、所定の画素数（Ｎ２画素）の収縮処理を行い、その後、同一の画素数の膨張処理を行う、このようなオープニング処理により、黒い部分の白ノイズが解消される。Ｎ２はノイズの大きさ分布から決められる。

なお、Ｓ８０２のオープニング処理とＳ８０３のクロージング処理とは、逆の順番で行われてもよいし、組み合わせて複数回行われてもよい。また、更新領域決定部２０５で行われる空間的な平滑化処理は、必ずしも上述したオープニング処理とクロージング処理との組み合わせでなくてもよい。例えば、所定のサイズのフィルターを用いて、多数決を取り、多い方の色（黒・白）に、その所定サイズ内の画素を全て置き換えてもよい。あるいは、ノイズごとにラベリングを行い、そのラベルごとの面積を求め、その大きさによって除去するか否かが決められてもよい。例えば、面積が所定値よりも小さいラベルの領域（画素群）を除去するようにしてもよい。いずれにせよ、画素ごとの孤立的な情報ではなく、空間的な情報に基づいて行われる処理であればよい。

図９は、図５の項目５０４～項目５０５の処理、即ち、背景画像生成部２０６で行われる処理を説明する図である。

図９の上段のマスク画像９０５、９１５、９２５は、更新領域決定部２０５によって出力される背景更新領域を示すデータである。図９の下段の背景画像９００、９１０、９２０、９３０は、背景画像生成部２０６によって生成される背景画像を示す画像データである。図９の下段の背景画像におけるドットパターンの部分は、背景を表している。例えばスタジアムなどでは、背景はフィールドであり、具体的には芝などである。図９の下段は、背景画像生成部２０６から、背景更新期間Ｔ３＿１ごとに順次出力される背景画像を示す。図９の上段下段ともに、背景更新期間Ｔ３＿１ごとに、図９の左から右に（０）→（１）→（２）→（３）のように１ステップずつ進む。

そして、ステップごとに、各背景更新期間Ｔ３＿１における最新のフレーム画像から、図９の上段のマスク画像の白で示される部分に対応する領域を切り出した背景領域が、最新の背景画像に上書きされる。なお、背景画像９００は、連続処理の先頭の部分を表すという意味で全面黒としている。

図９の左から右に（１）→（２）→（３）→・・・とステップが進むにつれて、順次、ドットパターンの部分が追加されていく。即ち、背景が書きこまれていく。複数回のステップが繰り返されると、抜けの無い（図中の黒い部分の無い）背景画像が生成されることになる。

以上説明したように、本実施形態では、不変領域が所定の期間継続している継続領域が決定される。その継続領域に空間的な処理を適用することで、背景更新領域が決定される。そして、その背景更新領域を用いて背景画像が生成される。このような処理を行うことで、孤立点を除去した背景更新領域を用いて背景画像を生成することができるので、適切な背景画像を生成することができる。また、本実施形態では、天候などが順次変化するなどの環境変化に対してリアルタイムで追従する形で背景画像を生成することができる。

＜＜実施形態２＞＞
実施形態１では、継続判定期間Ｔ２と背景更新期間Ｔ３＿１とが、概略等しくなるような形態を説明した。本実施形態では、継続領域決定部を複数備えることで、継続判定期間よりも背景更新期間を短くする形態を説明する。

実施形態１で説明したようなシステムにおいては、継続判定期間Ｔ２が長いほど、動きの少ない前景が背景に混入する可能性が下がるので、生成される背景画像の安定性が向上する。一方、背景更新期間Ｔ３＿１が短いほど、背景画像の生成（更新）の頻度が上がるので、生成される背景画像の環境変化の追従性が向上する。実施形態１では、継続判定期間Ｔ２と背景更新期間Ｔ３＿１とは、概略等しくなる形態であり、安定性と追従性との関係が、トレードオフの関係になっている。

本実施形態では、継続領域決定部を複数備えることで、継続判定期間よりも背景更新期間を短くすることを可能とし、背景画像の安定性を向上させ、かつ、背景画像の環境変化の追従性を向上させる形態を説明する。

図１０は、本実施形態の画像処理装置１０００を示すブロック図である。実施形態１と同じ構成については、同一の符号を付し説明を省略する。本実施形態では、継続領域決定部１００４が、複数（Ｎ個）の継続領域決定部で構成されている。図１０では、Ｎ＝４の場合を示している。即ち、継続領域決定部１００４は、第１継続領域決定部１０１４、第２継続領域決定部１０１５、第３継続領域決定部１０１６、および第４継続領域決定部１０１７を備えている。

其々の継続領域決定部には、不変領域検出部２０３から同じ不変領域が継続的に入力される。其々の継続領域決定部は、１／Ｎ（Ｎ＝４）ずつ位相をずらして継続領域を其々で決定するように動作し、其々が順番に継続領域を出力する。出力された其々の継続領域は、更新領域決定部２０５に送られる。更新領域決定部２０５は、其々の継続領域について更新領域を決定し、背景画像生成部２０６に出力する。

図１１は、実施形態２の背景画像の生成処理を説明する図である。図１１は、図５と同様に、図の左から右に時間軸が進む図を示している。図１１の項目１１０１は、図５の項目５０１と同様に、画像取得部２０１から出力される動画像を示す。図１１では、不変領域検出部２０３の動作（図５の項目５０２に相当）については、記載を省略する。

図１１の項目１１０３は、継続領域決定部１００４の動作を示している。即ち、項目１１１４は、第１継続領域決定部１０１４の動作を示す。項目１１１５は、第２継続領域決定部１０１５の動作を示す。項目１１１６は、第３継続領域決定部１０１６の動作を示す。項目１１１７は、第４継続領域決定部１０１７の動作を示す。

其々の継続領域決定部は、継続判定期間Ｔ２を周期とし、かつ、そのＴ２の１／４だけ位相をずらして動作する。また、其々の継続領域決定部は、その継続判定期間Ｔ２の最後において、継続領域を出力し、更新領域決定部２０５に出力する。

図１１の項目１１０４は、更新領域決定部２０５の動作を示す。更新領域決定部２０５は、其々の継続領域決定部から出力された継続領域に基づいて背景更新領域を決定する。背景更新領域の決定に際しては、実施形態１で説明したように、空間的なフィルター処理が行われる。

図１１の項目１１０５は、背景画像生成部２０６の動作を示す。背景画像生成部２０６は、更新領域決定部２０５から出力された背景更新領域に基づいて、例えば其々の継続判定期間Ｔ２における最新のフレーム画像を用いて背景画像を更新する。

上述したように、本実施形態では４つの継続領域決定部は、其々継続判定期間Ｔ２を周期として動作するが、位相が１／４周期ずつずれている。このため、実施形態２における背景更新期間Ｔ３＿２は、実施形態１の図５の場合の背景更新期間Ｔ３＿１と比較して、１／４となっている。なお、本実施形態では、継続領域決定部の数（Ｎ）が、４である例を示しているが、Ｎは２以上の任意の値に設定可能である。Ｎを大きくするほど、継続判定期間Ｔ２を長めに設定し、かつ背景更新期間Ｔ３＿２を短めに設定することが可能となる。また、順次位相をずらす方法として、継続領域決定部の個数Ｎで均等にずらす例を示したが、これに限られない。不均等に位相をずらしてもよい。このように、実施形態２によれば、背景画像の安定性と背景画像の環境変化の追従性との向上を両立させることができる。

＜＜実施形態３＞＞
実施形態３では、カメラから入力される画像に揺れや振動があり、かつ、画像取得部２０１における制振機能が不充分、あるいは制振機能がない場合を想定している。

図１２は、実施形態３の画像処理装置１２００のブロック図の一例を示す図である。画像処理装置１２００は、振動検出部１２１９からの制御信号を受け取ることが可能に構成されている。また、画像処理装置１２００は、ローパスフィルター（ＬＰＦ）１２１８を備えている。その他の構成については、実施形態２で説明したものと同様である。なお、ここでは実施形態２に基づく形態を示しているが、実施形態１に基づく形態であってもよい。

ＬＰＦ１２１８は、画像取得部２０１から出力されたフレーム画像を受け取り、そのフレーム画像の空間的な高周波成分を抑圧した第二の画像を生成する。

振動検出部１２１９は、加速度センサーまたはジャイロなどの物理的な手法により、カメラの振動状態を検出し、そのレベルに応じてＬＰＦ１２１８を制御するため制御信号を送る。例えば、ＬＰＦ１２１８は最大タップ数７×７で動作するように構成されている。振動検出部１２１９は、自ら検出した振動レベルに応じて、振動レベルを示す制御指示値１、３、５、７を出力するように構成されている。ＬＰＦ１２１８は、送られた制御指示値に応じて、実効的なフィルターサイズ（タップ数）が例えば１×１、３×３、５×５、７×７となるようにフィルター係数を変更することが可能である。

このようにして得られた第二の画像は、フレーム画像保存部２０２、不変領域検出部２０３、背景画像生成部２０６、背景差分処理部２０７、および前景テクスチャ生成部２０８に送られる。

つまり、実施形態３では、不変領域の決定、継続領域の決定、背景更新領域の決定、および背景画像の生成は、いずれもＬＰＦ１２１８を通過した第二の画像に基づいて行われる。従って、カメラから入力される画像に振動等が生じている場合においても、適切に背景画像を生成することができる。

また、本実施形態では、背景画像、前景マスク、および前景テクスチャについても第二の画像に基づいて生成される。第二の画像から前景テクスチャを生成すると、ＬＰＦ１２１８の影響により、ボケた前景テクスチャが得られる。前景の中には、ボケてもよい前景もあり、そのような前景テクスチャを得る際に本実施形態は有用である。

＜＜その他の実施形態＞＞
以上、実施形態１、２、３を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、前述した実施形態では、一つの画像処理装置２００が、複数のカメラの画像データを取得して各カメラにおける背景画像、前景マスクおよび前景テクスチャの生成をする形態を説明した。しかしながら、この形態に限られない。例えば、各カメラのハードウェア、または、各カメラに付随する画像処理装置が、仮想視点画像生成部の機能を除く機能を有する形態でもよい。そして、各カメラ側において、背景画像、前景マスクおよび前景テクスチャを生成し、生成したそれぞれのデータが、仮想視点画像を生成する装置に送信される形態でもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０３ 不変領域検出部
２０４ 継続領域決定部
２０５ 更新領域決定部
２０６ 背景画像生成部

Claims (17)

1. 複数の検出期間を含む特定の期間において撮像装置によって撮像された画像を取得する取得手段と、
   前記取得手段により取得された画像に基づいて、前記複数の検出期間それぞれにおいて、検出期間内で画素値の変化が閾値未満の画素で構成される第一の領域を検出する検出手段と、
   前記検出手段により検出された前記複数の検出期間に対応する複数の第一の領域が重複する第二の領域を特定する特定手段と、
   前記特定手段により特定された前記第二の領域と、前記取得手段により取得された前記画像とに基づいて、背景画像を更新する更新手段と、
   を有し、
   前記特定手段は、
   それぞれ異なるタイミングで開始される複数の検出期間において前記第二の領域を特定し、
   複数の前記検出期間を合計した期間を、前記第二の領域を特定する数で除した値に相当する量だけ順次タイミングをずらして前記第二の領域を特定することを特徴とする画像処理装置。
2. 前記特定手段により特定された第二の領域を表す画像を画像処理することで第三の領域を特定する第二の特定手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理は、空間的な処理を含むことを特徴とする請求項２に記載の画像処理装置。
4. 前記画像処理は、空間的なフィルターを用いた平滑化処理を含むことを特徴とする請求項２または３に記載の画像処理装置。
5. 前記画像処理は、膨張処理および収縮処理を含むことを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
6. 前記更新手段は、前記取得手段により取得された画像に含まれる領域であり、かつ、前記第三の領域に対応する領域内の画素の画素値を用いて背景画像を更新することを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
7. 前記更新手段は、前記取得手段により取得された画像のうち、最新の画像を用いて前記背景画像を更新することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記特定の期間は、前記背景画像が更新される期間に対応することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記複数の検出期間は、互いに重ならないことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記特定された第二の領域をそれぞれ表す画像を画像処理することで第三の領域を特定する第二の特定手段をさらに有することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記複数の検出期間は、前記背景画像が更新される期間よりも長いことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記取得手段により取得された画像にローパスフィルターを用いて画像処理する処理手段をさらに有し、
    前記検出期間における前記第一の領域は、前記処理手段により画像処理が行われた後の前記取得された画像に基づいて特定されることを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記更新手段により更新された背景画像に基づいて、別の特定の期間において前記撮像装置により撮像された画像における前景領域と背景領域とを分離する分離手段をさらに有することを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記前景領域は、前記別の特定の期間において前記撮像装置により撮像された画像と前記更新された背景画像との差分が閾値以上の画素を含むことを特徴する請求項１３に記載の画像処理装置。
15. 前記取得手段は、複数の視点で撮像された画像をそれぞれ取得し、
    前記更新された背景画像と前記複数の視点で撮像されて取得された画像とに基づいて仮想視点画像を生成する生成手段をさらに有することを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
16. 画像処理装置で実行される画像処理方法であって、
    複数の検出期間を含む特定の期間において撮像装置によって撮像された画像を取得する取得ステップと、
    前記取得ステップにより取得された画像に基づいて、前記複数の検出期間それぞれにおいて、検出期間内で画素値の変化が閾値未満の画素で構成される第一の領域を検出する検出ステップと、
    前記検出ステップにより検出された前記複数の検出期間に対応する複数の第一の領域が重複する第二の領域を特定する特定ステップと、
    前記特定ステップにより特定された前記第二の領域と、前記取得ステップにより取得された前記画像とに基づいて、背景画像を更新する更新ステップと、
    を有し、
    前記特定ステップは、
    それぞれ異なるタイミングで開始される複数の検出期間において前記第二の領域を特定し、
    複数の前記検出期間を合計した期間を、前記第二の領域を特定する数で除した値に相当する量だけ順次タイミングをずらして前記第二の領域を特定することを特徴とする画像処理方法。
17. コンピュータを、請求項１から１５のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images