JP6429323B2 - オブジェクト抽出方法および装置 - Google Patents

Description

本発明は、動画像からオブジェクトを抽出する方法および装置に係り、特に、太陽光や照明光により生じる人物オブジェクトの影を識別して人物オブジェクトのみを正確に抽出できるオブジェクト抽出方法および装置に関する。

オブジェクト抽出は、コンピュータビジョンの分野で非常に重要な技術であり、その用途に応じて様々な手法が提案されている。

非特許文献１には、オブジェクトの写っていない背景画像を予め用意し、この背景画像と入力画像との差を計算し、適正な閾値処理を施すことでオブジェクトを検出する背景差分法が開示されている。

非特許文献２，３には、入力された映像におけるエッジ点の特徴をモデル化したガウス混合モデル（ＧＭＭ：Gaussian Mixture Model）を利用してオブジェクトを識別する技術が開示されている。非特許文献４には、入力された映像からオブジェクトの影領域を検出する技術が開示されている。

非特許文献５には、オブジェクトから形状や動きに関する複数の顕著な特徴を検出し、これらに基づいてオブジェクトを自動的に抽出する技術が開示されている。非特許文献６には、オブジェクトの自動抽出に失敗した領域に対して手動操作を併用するオブジェクト抽出手法が開示されている。特許文献１には、高密度の多視点カメラアレイを用いたシルエット抽出補法が開示されている。

Hiroshi Sankoh, Mehrdad Panahpour Tehrani, Sei Naito, "Method and Program for Extracting Silhouette Image and Method and Program for Constructing Three Dimensional Model." US 8,363,941 B2

Elgammal, A., Harwood, D., Davis, L., "Non-parametric model for background subtraction." IEEE FRAME-RATE Workshop, Springer(1999) Stauffer, Chris, and W. Eric L. Grimson. "Adaptive background mixture models for real-time tracking." Computer Vision and Pattern Recognition, 1999. IEEE Computer Society Conference on. Vol. 2. IEEE, 1999. Zivkovic, Zoran. "Improved adaptive Gaussian mixture model for background subtraction." Pattern Recognition, 2004. ICPR 2004. Proceedings of the 17th International Conference on. Vol. 2. IEEE, 2004. Horprasert, Thanarat, David Harwood, and Larry S. Davis. "A robust background subtraction and shadow detection." Proc. ACCV. 2000. Li, Wei-Te, et al. "Exploring Visual and Motion Saliency for Automatic Video Object Extraction." Image Processing, IEEE Transactions on 22.7 (2013): 2600-2610. Rother, Carsten, Vladimir Kolmogorov, and Andrew Blake. "Grabcut: Interactive foreground extraction using iterated graph cuts." ACM Transactions on Graphics (TOG). Vol. 23. No. 3. ACM, 2004.

非特許文献１の背景差分法では、各フレーム画像の輝度が時系列で変化すると背景画像との差分を正確に求めることができず、オブジェクトと一緒に、その影領域も抽出されてしまうことがあった。

非特許文献２，３のガウス混合モデル(GMM)を利用したオブジェクト抽出手法では、画素ごとにGMMが得られるが、オブジェクト内の多くの画素では背景画像と類似のGMMが得られるので、オブジェクトと背景画像との区別が難しくなる。

特許文献４は、単一オブジェクトの抽出には有効であるものの、複数のオブジェクトが存在すると、これらを区別して正確に抽出することができない。非特許文献５では、オブジェクトとその影領域を区別できない。

非特許文献６では、手作業が必要となるので自動のオブジェクト抽出を実現できない。特許文献１では、複数台のカメラが必要になるので、システムが大型化、複雑化してしまう。

本発明の目的は、上記の技術課題を全て解決し、動画像から人物オブジェクトのみをその影領域から分離して自動的かつ正確に抽出できるオブジェクト抽出方法および装置を提供することにある。

上記の目的を達成するために、本発明は、動画像からオブジェクトを抽出するオブジェクト抽出装置において、以下の構成を具備した点に特徴がある。

(1) 動画像の各画像フレームからオブジェクトを識別する手段と、各オブジェクトに輪郭枠を設定する手段と、輪郭枠ごとに、その下領域を対象に色度のヒストグラムを求める手段と、ヒストグラムに基づいて、影領域を識別する閾値を輪郭枠ごとに計算する手段と、輪郭枠ごとに前記閾値に基づき影領域を選別して人物オブジェクトを抽出する手段とを具備した。

(2) 前記設定された輪郭枠ごとに、そのサイズ、形状および空間情報の少なくとも一つに基づいて、人物オブジェクトを含む輪郭枠を選別する手段をさらに具備し、ヒストグラムを求める手段は、選別された輪郭枠の下領域を対象に色度のヒストグラムを求めるようにした。

(1) 人物オブジェクトとその影領域とを正確に識別できる固有の閾値を、色度のヒストグラムを分析することによりオブジェクトごとに設定できる。したがって、人物オブジェクトとその影領域とが分離せずに一体化しており、背景差分法では両者を識別できない場合でも、オブジェクトごとに固有の閾値を適用することにより、人物オブジェクトのみを正確に抽出できるようになる。

(2) 人物オブジェクトを含む輪郭枠を上下に分割し、オブジェクトの影領域を含む下領域のみを対象に色度のヒストグラムを求めるようにしたので、影領域とそれ以外との領域との識別に適した選択性の高い閾値を求められるようになる。

本発明の一実施形態に係るオブジェクト抽出装置の機能ブロック図である。 本発明の一実施形態の動作を示したフローチャートである。 画像フレームの一例を示した図である。 背景差分法により抽出されたオブジェクト画像の一例を示した図である。 各オブジェクトに輪郭枠を設定する手順を示した図である。 サイズ依存の選別方法を説明するための図である。 形状依存の選別方法を説明するための図である。 空間情報依存の選別方法を説明するための図である。 輪郭枠領域を２分割する方法を示した図である。 色度ヒストグラムに基づいて閾値を設定する方法を示した図である。 影領域が除外される前の差分フレーム画像を示した図である。 影領域が除外された差分フレーム画像を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るオブジェクト抽出装置１の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示を省略している。

画像フレーム入力部１０１は、動画像からフレーム単位で画像フレームを切り出す。オブジェクト識別部１０２は、各画像フレームをオブジェクトが存在しない背景モデルと比較し、差分が所定の閾値以上となる閉領域をオブジェクトに識別する。前記背景モデルは、背景差分法により複数の連続した画像フレームに基づいて画素レベルで学習される。

時刻tにおける各画像フレームI(t)は、背景モデルを学習する期間（画像フレーム数）をT、各画像フレームI(t)の幅及び高さをそれぞれM、Nで表し、更に各画像フレームI(t)がカラー画像であるとすれば、３つのカラー要素（R，G，BやY，U，Vに代表される様々な色空間）をパラメータとして次式(1)で表される。

学習期間Tにおける各カラー要素の画素分布Dは、カラー要素Yに着目すれば、次式(2)で与えられる正規分布であり、各画素は互いに独立している。なお、他のカラー要素U，V (およびR，G，B) の画素分布D(u)，D(v)についても同様である。

したがって、背景モデル内の各画素(i，j)の学習期間Tにおける推定平均μ(i，j)及び推定標準偏差σ(i，j)は、カラー要素Yに着目すれば、それぞれ次式(3)，(4)で表される。なお、i∈[1，M]，j∈[1，N]である。

各画像フレームから背景モデルを差し引いて得られる差分は次式(5)で表される。ここで、μ^(y)はカラー要素Yに関するμ^(y) _(i,j)の集合である。R(u)，R(v) についても同様である。

各画像フレーム内では輝度変化が無いと仮定すれば、グローバル閾値δ={δ^(y)，δ^(u)，δ^(v)}が全ての画素について設定される。そして、次式(6)で表される差分R(t)がσ+δよりも小さい画素（残り画像）は背景とみなされ、それ以外の画素はオブジェクトとみなされる。

輪郭枠設定部１０３は、図５に示したように、画像フレームごとに各オブジェクトに外接する矩形の輪郭枠を設定する。人物領域選別部１０４は、サイズ依存選別部１０４ａ、形状依存選別部１０４ｂおよび空間情報依存選別部１０４ｃを含み、前記設定された全ての輪郭枠を対象に、輪郭枠が人物オブジェクトを含むか否かを推定し、人物オブジェクトを含まないと推定された輪郭枠を排除する。

前記サイズ依存選別部１０４ａは、輪郭枠のサイズ（例えば、総画素数）に着目し、サイズが所定の閾値を下回ると、人物オブジェクトを含まない輪郭枠であるとして当該輪郭枠を排除する。

形状依存選別部１０４ｂは、輪郭枠の形状（例えば、アスペクト比）に着目し、アスペクト比が所定の閾値を上回ると、人物オブジェクトを含まない輪郭枠であるとして当該輪郭枠を排除する。

空間情報依存選別部１０４ｃは、輪郭枠内での画素値（例えば、R，G，BやY，U，Vの値）の空間分散に着目し、空間分布が所定の閾値を下回ると、人物オブジェクトを含まない輪郭枠であるとして当該輪郭枠を排除する。

選別閾値設定部１０５は、２分割部１０５ａ、ヒストグラム生成部１０５ｂおよび閾値計算部１０５ｃを含み、人物オブジェクトを含むとして選別された輪郭枠ごとに、当該輪郭枠内の各画素を影領域またはそれ以外に識別するための閾値を設定する。

前記２分割部１０５ａは、各輪郭枠を所定の比率で上下に２分割する。前記ヒストグラム生成部１０５ｂは、２分割された下領域を対象に色度のヒストグラムを求める。前記閾値計算部１０５ｃは、前記色差ヒストグラムに基づいて、陰領域とそれ以外とを色度に基づいて識別するための閾値を、例えば大津の方法（大津の二値化）により輪郭枠ごとに計算する。

影領域除外部１０６は、前記輪郭枠ごとに、当該輪郭枠に固有の識別閾値を用いた影領域判別を行って影領域を識別し、これを削除することで人物オブジェクトのみを抽出する。

このようなオブジェクト抽出装置１は、汎用のコンピュータやサーバに、上記の各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部がハードウェア化またはROM化された専用機や単能機とし構成しても良い。

次いで、フローチャートを参照して本発明の一実施形態の動作を詳細に説明する。図２は、本発明の一実施形態の動作を示したフローチャートであり、画像フレーム単位で繰り返される。

ステップS１では、図３に一例を示した動画像の画像フレームが前記画像フレーム入力部１０１により切出される。当該画像フレームでは、上方からの照明光の影響で各人物オブジェクトの足元に影が発生しており、これが人物オブジェクトのみを正確に抽出する際の障害となり得る。

ステップS２では、図４に示したように、前記オブジェクト識別部１０２が画像フレームに背景差分法を適用することによりオブジェクトが識別される。本実施形態では、オブジェクトが存在しない背景モデルと各画像フレームとを比較し、両者の差分が所定の閾値以上となる閉領域がオブジェクトに識別される。

ステップS３では、図５に示したように、各オブジェクトobj1〜obj5に外接する矩形の輪郭枠o1〜o2が、前記輪郭枠設定部１０３により設定される。ステップS４では、前記人物領域選別部１０４にが、各輪郭枠の形状、サイズおよび空間情報に基づいて、人物オブジェクトを含む輪郭枠を選別し、それ以外の輪郭枠を排除する。

図６は、前記サイズ依存選別部１０４ａが、各輪郭枠をそのサイズに基づいて選別する方法を示した図であり、ここでは、輪郭枠o5のサイズ（総画素数）が所定の閾値を下回っているので、人物オブジェクトを含まない輪郭枠に選別されて排除される。

図７は、前記形状依存選別部１０４ｂが、各輪郭枠をその形状に基づいて選別する方法を示した図であり、ここでは、輪郭枠o3のアスペクト比（横幅／縦幅）が所定の閾値を上回っているので、人物オブジェクトを含まない輪郭枠に選別されて排除される。

図８は、前記空間情報依存選別部１０４ｃが、各輪郭枠をその空間情報に基づいて選別する方法を示した図であり、ここでは、領域o4の画素分布密度（Q1）が所定の閾値を下回っているので、人物オブジェクトを含まない輪郭枠に選別されて排除される。

図２へ戻り、ステップＳ５では、排除されずに残っている複数の輪郭枠の一つが注目される。ステップＳ６では、図９に示したように、今回の注目輪郭枠が前記２分割部１０５ａにより上下に２分割される。ステップＳ７では、２分割された下領域を対象に、前記ヒストグラム生成部１０５ｂにより、色度(chrominance)を要素とするヒストグラムが生成される。

図１０は、色度のヒストグラム[同図(b)]を、一般的な輝度(luminance )のヒストグラム[同図(a)]と比較した図であり、輝度のヒストグラムでは、山型分布が一か所のみに出現している。これに対して、色度のヒストグラムでは山型分布が二か所に出現しており、発明者等が多数のサンプルを対象に分析したところ、山型分布の一方（主に、背の高い方）は影領域のヒストグラムであり、他方（主に、背の低い方）は影領域以外のヒストグラムであることが判った。

このように、本実施形態では人物オブジェクトを含む輪郭枠を上下に分割し、オブジェクトの影領域を含む下領域のみを対象に色度のヒストグラムを求めるので、影領域とそれ以外との領域との識別に適した選択性の高い閾値を求められるようになる。

ステップS８では、前記色度のヒストグラムに「大津の方法」を適用することにより、影領域とそれ以外の領域とを識別する閾値Crefが、前記閾値計算部１０５ｃにより計算される。ステップS９では、今回の画像フレームから抽出された全ての輪郭枠に関して閾値計算が完了したか否かが判定される。完了していなければステップS５へ戻り、注目する輪郭枠を切り替えながら上記の処理が繰り返される。

前記選別されている全ての輪郭枠について、その閾値設定が完了するとステップS１０へ進み、前記影領域除外部１０６により、各輪郭枠にそれぞれ固有の閾値Crefを適用して影領域が除外され、残りの人物オブジェクトのみが抽出される。

図１１は、本実施形態が適用される前の差分フレーム画像であり、影領域が人物領域と一体化して識別できていない。これに対して、本発明を適用した図１２の例では、陰領域が排除されて人物オブジェクトが正確に抽出されていることが判る。

本実施形態によれば、人物オブジェクトとその影領域とを正確に識別できる固有の閾値を、色度のヒストグラムを分析することによりオブジェクトごとに設定できる。したがって、人物オブジェクトとその影領域とが分離せずに一体化しており、背景差分法では両者を識別できない場合でも、オブジェクトごとに固有の閾値を適用することにより、人物オブジェクトのみを正確に抽出できるようになる。

１０１…画像フレーム入力部，１０２…オブジェクト識別部，１０３…輪郭枠設定部，１０４…人物領域選別部，１０４ａ…サイズ依存選別部，１０４ｂ…形状依存選別部，１０４ｃ…空間情報依存選別部，１０５…選別閾値設定部，１０５ａ…２分割部，１０５ｂ…色差ヒストグラム生成部，１０５ｃ…閾値計算部，１０６…影領域除外部

Claims (9)

1. 動画像からオブジェクトを抽出するオブジェクト抽出装置において、
   動画像の各画像フレームからオブジェクトを識別する手段と、
   各オブジェクトに輪郭枠を設定する手段と、
   前記輪郭枠ごとに、その枠内を２分割した下領域を対象に色度のヒストグラムを求める手段と、
   前記ヒストグラムに基づいて、影領域を識別する閾値を輪郭枠ごとに計算する手段と、
   前記輪郭枠ごとに前記閾値に基づき影領域を選別して人物オブジェクトを抽出する手段とを具備したことを特徴とするオブジェクト抽出装置。
2. 前記設定された輪郭枠ごとに、そのサイズ、形状および空間情報の少なくとも一つに基づいて、人物オブジェクトを含む輪郭枠を選別する手段をさらに具備し、
   前記ヒストグラムを求める手段は、前記選別された輪郭枠の枠内を２分割した下領域を対象に色度のヒストグラムを求めることを特徴とする請求項１に記載のオブジェクト抽出装置。
3. 前記閾値を輪郭枠ごとに設定する手段は、ヒストグラムに大津の方法を適用して閾値を計算することを特徴とする請求項１または２に記載のオブジェクト抽出装置。
4. 前記輪郭枠を選別する手段は、サイズが所定の第１閾値を下回る輪郭枠を人物オブジェクトを含まない輪郭枠として排除することを特徴とする請求項２に記載のオブジェクト抽出装置。
5. 前記輪郭枠を選別する手段は、横幅／縦幅のアスペクト比が所定の第２閾値を上回る輪郭枠を人物オブジェクトを含まない輪郭枠として排除することを特徴とする請求項２に記載のオブジェクト抽出装置。
6. 前記輪郭枠を選別する手段は、画素分布が所定の第３閾値を下回る輪郭枠を人物オブジェクトを含まない輪郭枠として排除することを特徴とする請求項２に記載のオブジェクト抽出装置。
7. 前記閾値の前後でヒストグラムの山型分布が高い範囲を影領域に選別することを特徴とする請求項１ないし６のいずれかに記載のオブジェクト抽出装置。
8. 動画像からオブジェクトを抽出するオブジェクト抽出方法において、
   動画像の各画像フレームからオブジェクトを識別する手順と、
   各オブジェクトに輪郭枠を設定する手順と、
   前記輪郭枠ごとに、その枠内を２分割した下領域を対象に色度のヒストグラムを求める手順と、
   前記ヒストグラムに基づいて、影領域を識別する閾値を輪郭枠ごとに計算する手順と、
   前記輪郭枠ごとに前記閾値に基づき影領域を選別して人物オブジェクトを抽出する手順とを、コンピュータに実行させることを特徴とするオブジェクト抽出方法。
9. 前記閾値の前後でヒストグラムの山型分布が高い範囲を影領域に選別することを特徴とする請求項８に記載のオブジェクト抽出方法。