JP7062611B2

JP7062611B2 - 領域抽出装置及びプログラム

Info

Publication number: JP7062611B2
Application number: JP2019061782A
Authority: JP
Inventors: 敬介野中
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2019-03-27
Filing date: 2019-03-27
Publication date: 2022-05-06
Anticipated expiration: 2039-03-27
Also published as: JP2020160992A

Description

本発明は、屋外などの急激な照明変化を伴いうる撮影条件においても、背景差分技術の簡便さを損なうことなく被写体の画像領域を精度良く抽出することが可能な領域抽出装置及びプログラムに関する。

従来、多方面への映像アプリケーション応用を目的として、映像内の動物体を抽出する技術が提案されている（非特許公報１）。その中でも、簡便な処理により高速に動く特徴をもつ背景差分法と呼ばれる技術がある。この技術は、被写体対象が存在しない映像（背景映像）を撮影しておき、それらの統計情報（背景統計情報）と被写体を抽出する抽出対象映像との差分を取ることで、映像内の被写体（動物体）の画像領域を抽出する技術である。

これら従来技術は、背景映像と抽出対象映像の被写体以外の領域とが類似していることを前提としている。すなわち、大きな照明変化のないような安定した環境下で、固定のカメラ映像内に被写体が入ってきた際に、精度良く被写体領域を抽出できる。従来技術では緩やかな照明条件の変化に対応するために、抽出対象映像の抽出時刻の映像フレームの情報を背景統計情報に加算することで、徐々に背景統計情報を現在のフレームに近づけるような処理を行い、精度を上げている。

特許第03123587号特開平10-187996号公報特開平05-225341号公報特開2009-123150号公報

森田真司、山澤一誠、寺沢征彦、横矢直和"全方位画像センサを用いたネットワーク対応型遠隔監視システム" 電子情報通信学会論文誌 D 情報・システム 88(5)，864-875, 2005-05． J. C. Silveira Jacques, C. R. Jung and S. R. Musse, "A Background Subtraction Model Adapted to Illumination Changes," 2006 International Conference on Image Processing, Atlanta, GA, 2006, pp. 1817-1820. 福井啓允、満上育久、椋木雅之、美濃導彦"屋外シーンの潜在的日照領域の推定による急激な照明変動に頑健な背景差分"画像の認識・理解シンポジウム(MIRU2010)，2010．長屋茂喜，宮武孝文，藤田武洋，伊藤渡，上田博唯"時間相関型背景判定法による移動物体検出"電子情報通信学会論文誌 D Vol.J79-D2，No.4，pp.568-576，1996．

一方で、従来の背景差分技術では、急激な照明条件の変化は考慮されておらず、例えば屋外において雲の影などで環境の背景映像の輝度が大きく変化した場合は、その抽出精度が著しく低下する。深層学習や主成分分析などを用いた被写体抽出技術においては、上記問題は比較的起こりづらいものの、処理量や必要とするメモリ量が膨大であり、リアルタイム処理には不向きである。

特許文献１ではこの問題の解決を目的として、ある一定時間において検出された画像小領域の照明条件の変化を、同位置座標の背景統計情報として置き換えることを提案している。しかしながら、上記小領域の決定方法が規定されておらず、また例示されている矩形小領域ごとに背景統計情報の更新を行った場合、その境界における検出精度の差が発生し不自然な検出結果となる。加えて、それぞれの小領域ごとに直前の一定時間の画像の蓄積を必要とするため、当該期間の蓄積分の遅延が発生する。

同様に特許文献２では、現フレームの画素値から得られる統計情報と背景統計情報（画像）全体とを比較し、しきい値以上の場合にそれらを置き換える技術を提案している。しかしながら、基本的な比較対象として（被写体を除く）画像全体の統計情報を用いており、背景に暗い色の壁面が広域に存在するなどの場合に十分な精度が得られないことが予想される。

その他、背景差分法に関わる既存の発明として、特許文献３、４、非特許文献２～４が挙げられる。特許文献３では、背景更新の際の現フレームの加算係数をその変動量に応じて画素ごとに適応的に変える技術を提案しているが、実際には検出中の動物体の領域が更新されないといった影響により十分な精度で働かないことが想定される。特許文献４では、事前に想定される背景統計情報の候補を複数保持し、照明変化に合わせて適切な背景候補を選択するものであるが、実際の対象映像に対して適切な背景を事前予測するという課題がある。

非特許文献２は影とハイライトの領域のみの背景更新を行っているが、実際のシーンではハイライト以外にも急激な照明変化を伴う可能性があり不十分である。非特許文献３では、照明変化を検出する領域として、潜在的日照領域・非日照領域を判別し、それらの変化に応じて背景統計情報を更新することを提案しているが、潜在的日照領域（非日照領域）の判定には太陽の周期性を用いているため、事前の長時間の映像撮影が必要となる上に、日照領域であれば被写体の存在しない領域の変化も検出してしまうため、精度の低下が懸念される。非特許文献４は時間方向の変動によりシーンを分類し動物体の検出を行っているが、車のように映像の画角外から画角内に入り、すぐに再度外に出ていくような動物体を前提としており、人間のようにある一定期間そこにとどまる可能性を伴う被写体の検出には向いていない。

以上のような従来技術の課題に鑑み、本発明は、屋外などの急激な照明変化を伴いうる撮影条件においても、背景差分技術の簡便さを損なうことなく被写体の画像領域を精度良く抽出することが可能な領域抽出装置及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は、背景統計情報を更新しながら、映像の各時刻のフレーム画像に対して背景差分法を適用して被写体を前景として抽出する領域抽出装置であって、画像領域の一部としての所定の変化検出領域内において前時刻から現時刻への背景統計情報の変化情報を求め、画像領域全体において、当該変化情報を前時刻の背景統計情報に適用して現時刻の背景統計情報を求める第１更新部と、前記第１更新部で求めた現時刻の背景統計情報を用いて背景差分法を適用することで被写体を前景として抽出する背景差分部と、を備えることを特徴とする。また、コンピュータを前記領域抽出装置として機能させるプログラムであることを特徴とする。

本発明によれば、画像領域の一部としての所定の変化検出領域内において前時刻から現時刻への背景統計情報の変化情報を求め、画像領域全体において、当該変化情報を前時刻の背景統計情報に適用して現時刻の背景統計情報を求めて背景差分法を適用することにより、急激な照明変化を伴いうる撮影条件においても、背景差分技術の簡便さを損なうことなく被写体の画像領域を精度良く抽出することが可能となる。

一実施形態に係る領域抽出装置の機能ブロック図である。一実施形態に係る領域抽出装置の動作のフローチャートである。分割部、抽出部及び決定部の処理の模式例を示すための図である。決定部の別の実施形態として、被写体の先見的な情報を事前知識として利用する場合の模式例を示す図である。一般的なコンピュータ装置におけるハードウェア構成を示す図である。

図１は、一実施形態に係る領域抽出装置10の機能ブロック図である。領域抽出装置10は、統計取得部1、分割部2、抽出部3、決定部4、第１更新部5、背景差分部6及び第２更新部7を備える。

図２は、一実施形態に係る領域抽出装置10の動作のフローチャートである。以下、図２の各ステップを説明しながら、図１に示される領域抽出装置10の各部の処理内容の概要を説明する。

ステップS1では、領域抽出装置10が、予め用意しておく所定の事前映像を読み込んで解析することにより、初期統計と変化検出領域とを求めてから、ステップS2へと進む。

ステップS1にて事前映像は、統計取得部1、分割部2及び抽出部3において読み込まれる。統計取得部1では事前映像（映像の代表フレームまたは平均フレーム）より初期統計を求め、第１更新部5へと出力する。分割部2では事前映像（映像の代表フレームまたは平均フレーム）に対して領域分割を行い、領域分割結果を決定部4へと出力する。抽出部3では事前映像より被写体が通過しうる候補領域を求め、候補領域を決定部4へと出力する。決定部4では分割部2で得た領域分割結果と抽出部3で得た候補領域とに基づいて変化検出領域を求め、変化検出領域を第１更新部5へと出力する。ステップS1でのこれら各機能部の処理内容の詳細は後述する。

ステップS2では、領域抽出装置10が、自身において被写体（前景）を抽出する対象となる映像の時刻t（フレーム番号t、t=1,2,3…）のフレーム画像F(t)を第１更新部5、背景差分部6及び第２更新部7において読み込んでから、ステップS3へと進む。なお、この映像の初期時刻をt=1とする。

ステップS3では、第１更新部5が、背景統計を更新して背景差分部6へと出力してから、ステップS4へと進む。第１更新部5では、初期時刻t=1においてはステップS1で統計取得部1より得られた初期統計を更新することで、更新された背景統計を得る一方、それより後の時刻t≧2においては直近のステップS5（「直近のS5→S2→現在のS3」の順で現在のステップS3と対応する直近のステップS5）で第２更新部7より得られた統計をさらに更新することで、更新された背景統計を得る。

ステップS4では、背景差分部6が、直前のステップS3で第１更新部5から得られた更新された背景統計を用いて現時刻tのフレーム画像F(t)に対して背景差分法を適用することで、フレーム画像F(t)における被写体すなわち前景を得てから、ステップS5へと進む。

ステップS4にて背景差分部6で得たフレーム画像F(t)の前景は、図１中に線L2として示すように領域抽出装置10における被写体の抽出結果として出力されるほかにも、現時刻tの次の時刻t+1のフレーム画像F(t+1)に対してさらに継続して処理を行うために参照する情報として、線L3,L4,L5としてそれぞれ示されるように、第１更新部5、第２更新部7及び抽出部3へも出力される。

ステップS5では、直前のステップS4における背景差分部6での前景抽出結果を用いて第２更新部7などにおいて各情報を更新してから、ステップS6へと進む。

ステップS5では少なくとも、第２更新部7が現時刻フレームF(t)の前景抽出結果に基づいて現時刻tの背景統計を更新して第１更新部5へと出力する。

ステップS5ではさらに、抽出部3が背景差分部6での前景抽出結果を用いて候補領域を更新して抽出して決定部4へと出力してもよい。ステップS5ではさらに、映像F(t)においてカメラが移動して背景が変化するような場合における対処処理として、現時刻フレームF(t)を分割部2で領域分割して領域分割結果を決定部4に出力するようにしてもよい。（この処理における入力データの流れは図１中に線L1として示される。）ステップS5ではさらに、現時刻フレームF(t)に対する抽出部3（及び分割部2）の上記求めた情報を用いて、決定部4が変化検出領域を現時刻tに対応するものとして更新して決定して第１更新部5へと出力するようにしてもよい。

ステップS6では、現時刻tを次の時刻t+1へと更新してステップS2へと戻る。こうして、以上のステップS2～S6が繰り返されることにより、更新される各現時刻t=1,2,3…のフレーム画像F(t)を対象として領域抽出装置10による前景領域（被写体領域）の抽出が繰り返して実行される。ステップS1で解析する事前映像は、初期時刻t=1でのステップS2～S5における前景領域の抽出を可能とするための統計情報等を事前取得するためのものである。

以下、図２の以上の各ステップの処理を担う、図１に示される領域抽出装置10の各機能部の詳細を説明する。

[統計取得部1]…（ステップS1）
統計取得部1は、非特許公報１と同等にあらかじめ被写体の存在しない固定カメラ映像として構成される事前映像を用いて、背景統計情報の初期値を生成し、第１更新部5へと出力する。カメラ映像は所定の色空間で構成されており、説明のため例えばYUV成分で構成されているものとすると、YUV成分のそれぞれについて、ある一定時間の映像フレームの平均Y_[平均],U_[平均],V_[平均]と分散σ_Y,σ_U,σ_Vを測定し、成分ごとの背景統計情報とする。これら平均Y_[平均],U_[平均],V_[平均]と分散σ_Y,σ_U,σ_Vは、事前映像の画像の各画素位置(i,j)においてその値が算出されるものである。

以後、背景統計情報を持つこの平均値フレームY_[平均],U_[平均],V_[平均]や分散σ_Y,σ_U,σ_Vについては単純に画像として扱うことが可能である（データ形式として画像と同じものであるとみなして差し支えない）ため、特に断りがなく背景統計情報の画像処理の数式等による記述がある場合は、当該平均フレーム画像について操作することを示すものとする。また、以下ではY成分についてのみ記述をするが、その他U,V成分についても同様である。また、YUV空間は説明上の例示に過ぎず、その他のRGB空間などで構成されていてもよい。

なお、ステップS1で解析される事前映像は、ステップS2以降で被写体を前景として抽出する対象となる映像と同じ背景が撮影されたものとして、予め用意しておくものである。事前映像には被写体が存在せず背景のみが撮影されているフレーム区間と、動き回る被写体が存在するフレーム区間とが存在し、任意の既存手法の被写体（前景）抽出を適用することによってこれら区間の識別情報も予め与えられているものとする。

[分割部2]…（ステップS1）
分割部2では、統計取得部1で得た背景統計情報の画像領域に対して任意の既存手法による領域分割技術を適用することでいくつかの画像領域R_i（i∈{1,…,N}は分割された画像内の領域を示すインデックス）に分割し、この分割結果を決定部4へと出力する。これら領域のうち、被写体周辺に位置するものと想定されるいくつかの領域が、後段側の決定部4によって照明条件に関する変化検出領域として採用されることとなる。

なお、分割部2では、統計取得部1で得た平均値フレームY_[平均],U_[平均],V_[平均]を各色チャネルの画素値として構成される平均画像を対象として領域分割を行ってもよいし、統計取得部1で平均値フレームY_[平均],U_[平均],V_[平均]を得る際に利用した事前映像内の被写体が存在しない区間から１つの代表フレームを選択して、この代表フレームを対象として領域分割を行ってもよい。

[抽出部3]…（ステップS1）
後段側の決定部4において、画像内の被写体が通りうる領域を推定する必要がある。その推定のために、抽出部3では暫定的に画像内から被写体を抽出し、被写体が抽出された領域の和集合を候補領域として決定部4へと出力する。具体的には、事前映像のうち被写体が存在する区間において、照明変化が発生していない時間（もしくは照明変化が影響しない短時間）の映像をユーザが選択したうえで、これを参照情報として抽出部3において背景差分による被写体（動きうる人物などの被写体）抽出を行う。（なお、事前映像を照明変化がないものとして用意しておいてユーザ選択を省略してもよい。）この操作を一定数k枚のフレームにおいて行い、それらの結果（2値画像）を加算して和集合を取ることで、被写体の候補領域を得ることができる。その他、深層学習による人物認識などを用いて得られた囲み枠（バウンディングボックス）群を被写体の候補領域として採用してもよい。

[決定部4]…（ステップS1）
決定部4では、後段側の第１更新部5において照明変化を検出するための画像領域（変化検出領域）を決定し、この変化検出領域を第１更新部5へと出力する。ここで、照明変化を検出する基本的な考えとしては、ある一定の領域の輝度・色差成分の変動を背景統計情報に適用することで、現時刻のフレームの被写体抽出の精度を向上するものである。照明変化を検出する際に、決定部4を利用せず画像領域全体を変化検出領域としてもよいが、一部画像領域の色が極端に暗い場合などにおいては照明変化による上記輝度・色差の変化の傾向を精緻にとらえることができないなどの問題が発生する。そのため、被写体の近傍の領域を変化検出領域として抽出することが望ましい。

そのため、決定部4では具体的に、抽出部3において抽出された被写体の候補領域に対して、それらに隣接する（すなわち、被写体の候補領域を包含している）領域R_i（分割部2から得られる領域分割結果の領域R_i）の組を変化検出領域として決定することができる。この時、被写体の隣接した領域のみならず、「被写体候補領域に隣接する領域にさらに隣接する領域」など、条件を緩和してもよい。

また、領域分割の結果の隣接関係のみならず、エッジの強度を元に隣接領域を照明変化領域に含めるかどうかを判定してもよい。すなわち、ユーザ設定のある閾値λの超えるエッジ強度をもつ隣接領域R_iについては変化検出領域に含めないようにしてもよい。この処理により、例えばスポーツ映像において選手等を前景の被写体として抽出することを想定している場合に、エッジ強度が大きく、且つ、抽出すべき被写体が存在しないものとして設定されている観客席（一般には、背景に存在し被写体以外でありかつ顕著性が高い領域）を、変化検出領域から除外することが可能である。

決定部4の役割としては、画像内の被写体が通りうる領域およびその背景領域を推定することができればよいため、以上とは別の実施形態として、分割部2及び抽出部3から得られる情報を利用することなく、被写体の先験的な情報を事前知識として用いて変化検出領域を決定することも可能である。例えば、サッカー選手を被写体とした場合でサッカーのフィールド内にのみサッカー選手が存在することが事前知識として与えられている場合に、このフィールドの領域を変化検出領域として決定してよい。この際例えば、フィールドが一定色（緑色など）で構成されていることを事前知識として利用し、色情報によって変化検出領域を決定することが可能である。同様に、深層学習によるセマンティックセグメンテーション（領域分割及び領域識別）を用いて、被写体の存在しうる所定種類の領域（フィールドや床など）を抽出し、変化検出領域とすることも可能である。

図３は、以上の分割部2、抽出部3及び決定部4の処理の模式例を示すための図である。図３では、データD1～D4として、解析対象の事前映像における同じ画像内領域が示されており、データD1では5つの領域R1～R5として分割部2によるこの領域での分割結果が示され、データD2では抽出部3によってk=3個の被写体の前景領域f1,f2,f3が抽出されたことが示され、データD3では抽出部3においてこれらk=3個の被写体の前景領域f1,f2,f3の和集合を取ることで候補領域f13が得られることが示されている。

そして、図３のデータD4には、決定部4において、分割部2で得た5つの分割領域R1～R5のうち、抽出部3で得た候補領域f13を包含している領域R3及びR4が、変化検出領域として決定されることが示されている。

図４は、決定部4の別の実施形態として、被写体の先見的な情報を事前知識として利用する場合の模式例を示す図である。ここでは、前述のサッカー映像においてサッカーフィールド内の選手を被写体として検出する場合の例が示され、上段側に示す事前映像での被写体を含まない背景画像BGより、下段側に示すようにサッカーフィールドSFが色情報あるいはセマンティックセグメンテーションにより変化検出領域として決定される。

[第１更新部5]…（ステップS3）
第１更新部5では、決定部4において決定された変化検出領域を用いて、背景統計情報の照明変化に応じた更新値を設定し、背景差分部6へと出力する。具体的には、まず変化検出領域のうち現時刻tに対する前時刻t-1のフレームF(t-1)の前景領域（背景差分部6が前フレームF(t-1)に関して出力した前景領域）を除いた領域Rについて、現時刻tのフレームF(t)における領域Rの統計情報（平均値など）Y_R ^tを抽出する。（なお、この統計情報Y_R ^tは領域Rでの平均値等の代表値であり、画素位置(i,j)ごとにマップとして求まるものではない。既に説明した通り、YUV色空間のYチャネルに関して説明しており、他チャネルでも同様である。）このY_R ^tを用いて、次の式(1)の通り背景統計情報の値を更新する。
Y(t)=f(Y(t-1)_[更新],Y_R ^t) …(1)

ここで、f(Y(t-1)_[更新],Y_R ^t)は、前時刻t-1に関して第２更新部7が出力した背景統計情報Y(t-1)_[更新]（画素位置(i,j)ごとの情報）を、パラメータY_R ^tに基づいて更新し、式(1)の左辺に示される第１更新部5での出力として現時刻tに関して更新された背景統計情報Y(t)を得ることを表す関数である。

すなわち、画像の領域全体ではなく、その一部のみの変化検出領域（前フレームF(t-1)の前景領域を除く）で求められたパラメータY_R ^tに基づいて、画像の領域全体に渡る背景統計情報がY(t-1)_[更新]からY(t)へと更新されることとなる。

なお、初期時刻t=1の場合、Y(t-1)_[更新]=Y(0)_[更新]の値として、ステップS1で統計取得部1が取得した初期値としての平均値フレームY_[平均]を用いればよい。また、初期時刻t=1の場合、前フレームF(t-1)の前景領域は空集合として扱えばよい。

式(1)の関数fの具体例として、パラメータY_R ^tを平均値として求めるものとし、領域Rに関して前時刻t-1で求まっている平均値Y_R ^t-1からの差分(Y_R ^t-Y_R ^t-1)を領域全体に加算して更新する関数offset(Y_R ^t-Y_R ^t-1)により以下の式(2)のように更新してよい。
Y(t)=Y(t-1)_[更新]+offset(Y_R ^t-Y_R ^t-1) …(2)

あるいは、式(1)の関数fの具体例として、同じくパラメータY_R ^tを平均値として求めるものとし、前時刻t-1のパラメータY_R ^t-1との比(Y_R ^t/Y_R ^t-1)を乗ずることにより以下の式(3)のように更新してもよい。
Y(t)= (Y_R ^t/Y_R ^t-1)*Y(t-1)_[更新] …(3)

その他にも、パラメータY_R ^tを領域Rでの平均値ではなくヒストグラムとして求めておく場合には、更新値（ヒストグラム調整（補正）操作としての、例えばトーンカーブ等への所定の調整操作として定義される更新値）を複数パターン用意しておき、Y_R ^t-1のヒストグラムに適用することによってY_R ^tのヒストグラムに最も近いヒストグラムを与えるような更新値によってY(t-1)_[更新]を更新してY(t)を得るようにしてもよい。（この場合、統計取得部1でも初期統計としてヒストグラムを求めておく。）最も近いヒストグラムを与える更新値を決定するためのヒストグラムの近さは、バタチャリア距離やヒストグラムインタセクション等で評価すればよい。

分散σ_Yに関しても以上の色チャネル画像Yについて説明したのと同様の更新を行い、前時刻t-1の分散σ_Y (t-1)から現時刻tの分散σ_Y (t)を得るようにすることができる。

なお、決定部4から得られている変化検出領域が非連続な複数の領域（各々が連結領域であり、互いに分離している複数の領域）として得られている場合、この非連続な複数の領域全体を１つの領域とみなして以上と同様にする実施形態とは別の実施形態として、以下の（手順１）～（手順４）のように区別した処理を行うようにしてもよい。

（手順１）複数の変化検出領域について、上記と同様に統計量の更新値（例えば平均値差分(Y_R ^t-Y_R ^t-1)）やヒストグラムに関する更新値を算出し、しきい値処理により更新値を分類する。これは、更新値に表現されている、現時刻tと前時刻t-1との変化（照明変化）を分類するための手順である。
（手順２）複数の変化検出領域（前時刻t-1での前景領域を除く）に関して、現時刻tのフレーム画像F(t)の画素を参照してヒストグラムを求め、ヒストグラム（リファレンスとなるヒストグラムを複数用意しておく）の類似度によるしきい値処理に応じて分類する。すなわち、リファレンスとなる複数のヒストグラムのいずれに類似しているかを判定する。これは、現時刻tのヒストグラムに表現されている、輝度・色差分布の情報を分類するための手順である。
（手順３）以上の手順１，２において算出された更新値分類およびヒストグラム分類がすべて同じである場合は、ひとつの照明変化領域（照明変化の態様が同一とみなせるもの）として扱い、共通の更新値をもちいて背景統計情報画像全体の更新値Y(t)等を得る。

（手順４）以上の手順１，２において、更新値分類およびヒストグラム分類の少なくとも一方が複数に分かれた場合は、背景統計情報画像（現時刻フレームF(t)）を当該分類の総数に応じて領域分割し、各分割領域に対して重複度が最も大きいような変化検出領域における更新値を適用する。（ここで、少なくともいずれかの変化検出領域と重複するように、領域分割の個数を調整すればよい。分割領域のうちいずれの変化検出領域とも重複しないものがあった場合、最も距離の近い変化検出領域の更新値を適用してよい。）

なお、手順４の領域分割は、分割部2で得られている結果を利用するようにしてもよい。手順３ではなく手順４が適用されることとなった場合で、更新値が複数に分かれている場合は、照明変化の態様が画像領域内で局所的に異なることが想定されるが、手順４により、局所的な異なりを反映した更新値の適用が可能となる。

[背景差分部6]…（ステップS4）
背景差分部6では、既存の背景差分法と同様に、上記で得られた照明変化に応じた更新を適用済みの背景統計情報Y(t)等と現フレームF(t)との差分情報を用いて被写体の抽出を行う。（すなわち、適用する背景差分法それ自体は既存手法を利用するが、本実施形態においては特に、更新を適用済みの背景統計情報Y(t)等が利用されることとなる。）抽出された被写体は2値マスク画像などとして、図１中に線L2で示されるように領域抽出装置10からの出力とされるほか、線L3,L4,L5で示されるように、各機能部の入力となる。

[第２更新部7]…（ステップS5）
第２更新部7では、第１更新部5において式(1)～(3)等により照明変化に応じた更新適用済みとして求めた背景統計情報Y(t)等に対して、現在のフレームF(t)のうち、背景差分部5において被写体として抽出された領域以外に対してY成分の情報（フレーム画像F(t)のY成分の実際の値）を追加することで背景統計情報を更新したY(t)_[更新]等を得る。（このY(t)_[更新]が、次時刻t+1においては過去時刻t（=(t+1)-1）のものとして、第１更新部5において式(1)～(3)等（現時刻をt+1としたもの）により利用されることとなるものである。）具体的には、以下の式(4)に従い、第１更新部5の出力Y(t)等とフレーム画像F(t)での実際の値Y(t)_[実績値]との重みづけ和として更新が行われる。なお、第１更新部5の出力Y(t)等は、フレーム画像F(t)での実際の背景の値Y(t)_[実績値]の予測値に相当するものである。予測値Y(t)等を用いて背景差分部6で背景差分法が適用され、この前景抽出結果を参照することで実際の値Y(t)_[実績値]が得られる、という関係がある。（既に説明した通り、U,V成分についても式(4)と同様にすることができる。）
Y(t)_[更新]={(n-1)/n}*Y(t)+(1/n)*Y(t)_[実績値] …(4)

ここで、nはユーザ設定の更新率である。n=1とした場合、現在のフレームF(t)の情報Y(t)_[実績値]がそのまま背景統計情報として更新され、現時刻の照明変化に対応できるように思われるが、実際には当該操作を行った場合には、現時刻との差分を取ることになり被写体領域が不自然に抽出されるといった弊害が起こる。予測値Y(t)との重みづけ和とすることによりこの弊害を防ぐ。n≧1の範囲で大きくするほど、予測値Y(t)の寄与が大きくなる。また、時々刻々変化する屋外の照明環境を想定した場合、映像の変化に合わせてnを手動で変化させることは現実的ではない。

また、分散σ_Yに関しては、既存手法に即して更新して、実績値σ_Y(t)_[実績値]から更新値σ_Y(t)_[更新]を得るようにしてよい。例えば、非特許文献１の手法では以下の式(5)で更新を行うことができる。ここでm≧1は式(4)のnと同様に、ユーザ設定の分散の更新率である。（既に説明した通り、U,V成分についても式(4)と同様にすることができる。）

以上、本発明の一実施形態によれば、屋外などの急激な照明変化を伴う撮影条件において、背景差分技術の簡便さを損なうことなく被写体の画像領域を精度良く検出することが可能となる。以下、各種の補足事項を説明する。

（１）決定部4から出力して第１更新部5で参照して利用する変化検出領域は、ステップS1において事前映像を解析して得たものを、時間変化しない固定的な情報としてt≧2以降の繰り返しステップS2～S6で継続して利用してもよいし、別の一実施形態では、t≧2以降においては、現時刻tから見た１つ以上の過去時刻（直前時刻t-1までの１つ以上の過去時刻）において背景差分部6が出力した前景を包含する領域として、時間変化する情報として利用してもよい。

この際、背景差分部6では各時刻tで得た前景の情報を図１中に線L5として示すように抽出部5にも出力することで、抽出部3及び決定部4においてステップS5における処理を、ステップS1において事前映像を対象として行ったのと同様の手法で行うことにより、第１更新部5において各時刻tにおいて、１つ以上の過去時刻（例えば、所定数n個の直前の過去時刻t-1,t-2,…,t-n）での前景抽出結果を包含するような、分割部2により得られる分割領域として、変化検出領域を参照することが可能となる。映像F(t)において背景が移動する場合にも対処可能なように、分割部2では線L1に示されるように各時刻のフレームF(t)に対してもステップS5において領域分割を行い、この分割部2により現時刻のフレームF(t)での領域分割結果を利用して、決定部4で現時刻tの変化検出領域を求めるようにしてもよい。

なお、図３の模式例は事前映像を前提として説明したが、読み替えることによって上記の実施形態の模式例にもなっている。すなわち、現時刻tのフレームF(t)に対する分割部2の分割結果がデータD1のR1～R5であり、所定数n=3の過去時刻t-1,t-2,t-3での前景抽出結果がデータD2のf1,f2,f3であるものとして、分割結果R1～R5のうちこれらの和集合f13を包含するような領域R2,R3を、データD4に示すように現時刻tの変化検出領域として求めることが可能である。

（２）映像F(t)上において、前景として抽出される対象（選手等）は継続して画像範囲内において追跡され、過去時刻に追跡対象となっていなかったものがある時刻で新たに前景として現れることはないという前提のもとでは、背景差分部6が背景差分法を適用する対象を、決定部4から得られる変化検出領域（時間変化しない場合、する場合いずれも含む）内に限定するようにしてもよい。

（３）図５は、一般的なコンピュータ装置70におけるハードウェア構成を示す図であり、領域抽出装置10はこのような構成を有する１台以上のコンピュータ装置70として実現可能である。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサ72（GPU（グラフィック演算装置）や深層学習専用プロセッサ等）、CPU71や専用プロセッサ72にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、カメラ77、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース78と、これらの間でデータを授受するためのバスBと、を備える。

領域抽出装置10の各部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又は専用プロセッサ72によって実現することができる。ここで、撮影関連の処理が行われる場合にはさらに、カメラ77が連動して動作し、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。

例えば、入力される映像（事前映像と前景抽出対象となる映像の両方）は、通信インタフェース75を介してネットワーク上から取得してもよいし、カメラ77で直接撮像して取得してもよい。背景差分部6での処理結果（前景抽出結果）をディスプレイ76に表示するようにしてもよい。２台以上のコンピュータ装置70によって領域抽出装置10がシステムとして実現される場合、ネットワーク経由で各処理に必要な情報を送受信するようにすればよい。

10…領域抽出装置、5…第１更新部、6…背景差分部、7…第２更新部
1…統計取得部、2…分割部、3…抽出部、4…決定部

Claims

フレーム画像の画素位置ごとに定まる、被写体以外の背景に関する時間軸方向での画素値分布に関する統計情報である背景統計情報を更新しながら、映像の各時刻のフレーム画像に対して背景差分法を適用して被写体を前景として抽出する領域抽出装置であって、
画像領域の一部としての所定の変化検出領域内において前時刻から現時刻への背景統計情報の変化情報を、当該変化検出領域内での代表値として求め、画像領域全体において画素位置ごとに、当該変化情報を前時刻の背景統計情報に適用して現時刻の背景統計情報を求める第１更新部と、
前記第１更新部で求めた現時刻の背景統計情報を用いて背景差分法を適用することで被写体を前景として抽出する背景差分部と、を備えることを特徴とする領域抽出装置。
前記第１更新部で求めた現時刻の画素位置ごとの背景統計情報と、前記背景差分部での抽出結果から求まる、現時刻のフレーム画像での前景領域以外の背景領域における画素位置ごとの背景統計情報と、の重みづけ和として現時刻の更新された背景統計情報を求める第２更新部をさらに備え、
前記第２更新部で求められた現時刻の更新された背景統計情報が、次時刻に関して、前記第１更新部において現時刻から次時刻への背景統計情報の変化情報を求める際に参照されることを特徴とする請求項１に記載の領域抽出装置。
所定の事前映像に対して領域分割を適用して各分割領域を得る分割部と、
前記事前映像を解析して被写体の通過する領域を候補領域として得る抽出部と、
前記分割部で得た各分割領域のうち、前記候補領域を包含する領域を前記変化検出領域として求める決定部と、をさらに備えることを特徴とする請求項１または２に記載の領域抽出装置。
前記抽出部では、前記事前映像の一定数のフレーム群の各フレームにおいて被写体が検出された領域の和集合を求めることにより、当該和集合を包含する領域として前記候補領域を得ることを特徴とする請求項３に記載の領域抽出装置。
前記第１更新部では、１つ以上の過去時刻に対して前記背景差分部で前景として抽出された領域を包含する領域として、現時刻で参照する前記変化検出領域を定めることを特徴とする請求項１ないし４のいずれかに記載の領域抽出装置。
前記変化検出領域が複数の連結領域として構成されている場合に、前記第１更新部は、各連結領域に関して前記変化情報を求め、画像領域全体を領域分割したうえで、各分割領域に対して、複数の連結領域のうち、重複度合い又は近接度合いが大きいと判定される連結領域における変化情報を適用することで、画像領域全体における現時刻の背景統計情報を求めることを特徴とする請求項１ないし５のいずれかに記載の領域抽出装置。
コンピュータを請求項１ないし６のいずれかに記載の領域抽出装置として機能させることを特徴とするプログラム。