JP4966946B2 - 時空間画像分離装置、時空間画像分離方法および時空間画像分離プログラム - Google Patents

Description

本発明は、時空間画像を複数の対象領域に分離する技術に関する。

コンピュータによる画像処理については、様々な方法が存在する（非特許文献１）。そして、１つの画像から背景画像と前景画像を分離する方法についても研究されている。１枚の画像（静止画像）については、画像濃淡値を用いたテクスチャ解析などにより、画像を分離することが行われている。

また、時空間画像（動画）では、多くの場合、背景は変化しない画像であり、前景は移動する車、人など興味の対象である。そのため、時空間画像を分離する場合、動きのある領域と、動きのない領域に分割することにより画像を分離することが行われている。
田村秀之、 "コンピュータ画像処理入門"、総研出版、２００２年

時空間画像において、従来では、時間情報と空間情報とがそれぞれ単独に用いられている。そのため、背景が変化せず、前景のみが変化する場合については、背景と前景を分離することが可能であるが、背景が風、雪、陰影の影響などにより時々刻々と変化する場合、前景と背景を適切に分離することは困難である。

本発明は上記事情に鑑みてなされたものであり、本発明の目的は、時間と空間の双方の情報が加味された時空間画像から、複数の対象領域を適切に分離することにある。

本発明は、時空間画像を複数の対象領域に分離するための時空間画像分離装置であって、時系列に連続した前記時空間画像を入力し、記憶手段に記憶するデータ入力手段と、前記時空間画像の各画像フレームの画素ごとに、時間微分と空間微分とを行うことにより特徴ベクトルを生成する画像特徴量演算手段と、前記特徴ベクトルを用いて各画素を、特徴量空間内で複数に分類するクラスタリング手段と、クラスタリング手段が分類した結果を表示する表示手段と、を有し、前記特徴ベクトルは、各画像フレームの画素ごとに演算した前記時間微分をベクトル表現した時間微分ベクトルと、各画像フレームの画素ごとに演算した前記空間微分をベクトル表現した空間微分ベクトルと、を含む。

また、本発明は、時空間画像分離装置が行う、時空間画像を複数の対象領域に分離するための時空間画像分離方法であって、時系列に連続した前記時空間画像を入力し、記憶部に記憶するデータ入力ステップと、前記時空間画像の各画像フレームの画素ごとに、時間微分と空間微分とを行うことにより特徴ベクトルを生成する画像特徴量を演算する画像特徴量演算ステップと、前記特徴ベクトルを用いて各画素を、特徴量空間内で複数に分類するクラスタリングステップと、クラスタリングステップで分類した結果を表示する表示ステップと、を行い、前記特徴ベクトルは、各画像フレームの画素ごとに演算した前記時間微分をベクトル表現した時間微分ベクトルと、各画像フレームの画素ごとに演算した前記空間微分をベクトル表現した空間微分ベクトルと、を含む。

また、本発明は、前記時空間画像分離方法をコンピュータに実行させる時空間画像分離プログラムである。

本発明によれば、時間と空間の情報が加味された時空間画像から、複数の対象領域を適切に分離することができる。

以下、本発明の実施形態について説明する。

図１は、本発明の実施形態に係る時空間画像分離装置の概略構成図である。本実施形態の時空間画像分離装置は、時空間画像の時間と空間に関する画像特徴量を演算し、後述する画像特徴量空間で画像特徴量に基づいて各画素を分類することにより、時空間画像を複数の対象領域に分離する。複数の対象領域は、例えば、興味の対象である前景、および背景が含まれる。

図示する時空間画像分離装置は、データ入力部１００と、データ蓄積部１１０と、画像特徴量演算部１２０と、クラスタリング部１３０と、表示部１４０とを有する。

データ入力部１００は、時系列に連続した時空間画像を入力し、記憶手段であるデータ蓄積部１１０に記憶する。画像特徴量演算部１２０は、時空間画像の各画像フレームの画素ごとに、時間微分と空間微分とを行うことにより画像特徴量を演算する。クラスタリング手段は、演算した画像特徴量を用いて各画素を、特徴量空間内で複数に分類する。表示部１４０は、クラスタリング部１３０が分類した結果を出力装置に表示する。

上記説明した、時空間画像分離装置は、例えば、ＣＰＵと、メモリと、外部記憶装置と、入力装置と、出力装置と、これらの各装置を接続するバスと、を備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた時空間画像分離装置用のプログラムを実行することにより、時空間画像分離装置の各機能が実現される。なお、時空間画像分離装置のデータ蓄積部１１０には、メモリまたは外部記憶装置が用いられる。なお、時空間画像分離装置は、必要に応じて、他の装置と接続するための通信制御装置を備えることとしてもよい。

また、時空間画像分離装置用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯなどのコンピュータ読み取り可能な記録媒体に記憶すること、または、ネットワークを介して配信することも可能である。

次に、本実施形態の時空間画像分離装置の分離方法について説明する。

まず、データ入力部１００は、ビデオカメラなどから時空間画像を入力し、データ蓄積部１１０に格納する（ステップ１０）。時空間画像は、時系列に連続する複数の画像フレーム（映像フレーム）から構成される動画データである。そして、画像特徴量演算部１２０は、データ蓄積部１１０に格納された時空間画像を読み出し、読み出した時空間画像の時間および空間に関する画像特徴量を算出する（ステップ２０）。そして、クラスタリング部１３０は、画像特徴量に基づいて特徴空間内で各画素をクラスタリングする（ステップ３０）。表示手段１４０は、クラスタリング部１３０がクラスタリングした結果を表示する（ステップ４０）。

次に、ステップ２０の画像特徴量演算部１２０の処理について、詳細に説明する。

本実施形態では、複数の画像特徴量を組み合わせて用いることにより、複雑な変化の検出やパターン（画像）の分離を行い、時空間画像から複数の対象領域を分離する。なお、複数の対象領域（例えば、背景と前景）は、実環境シーンで想定されるように、それぞれ時々刻々と変化するものとする。以下に、このような時系列画像から、複数の成分からなる画像特徴量を演算する処理について述べる。

本実施形態の画像特徴量としては、連続した画像フレームから得られる時間変化量として時間についての１次微分（時間１次微分）と、一枚の画像フレームにおける空間的な変化量を空間についての１次微分（空間１次微分）とする。

ここで、空間１次微分の大きさを、所定の数（Ｎ枚）の画像フレーム１〜Ｎにおけるベクトルｇとする。時間１次微分についても、画像フレーム１〜Ｎにおけるベクトルｚ・（式では、ｚの上に「・」を記載）とする。ｇおよびｚ・を、以下の式（１）に示す。

また、時間と空間についての２次元の特徴ベクトルを、以下の式（２）で表すものとする。

ここで、｜｜は絶対記号である。ｇ_ｎは、画像フレームｎにおける画像濃淡値ｚの１次微分の大きさ（絶対値）である。ｚ・^ｔ _ｎは、画像フレームｎにおける、離散化された時刻ｔ、ｔ−１の画像濃淡値ｚの時間差分（絶対値）である。Ｇは、平滑化のために用いられるガウス関数である。なお、ｇ、ｚ、ｚ・は、画素（ｉ，ｊ）について、離散化されているものとする。

式（１）は、画像フレーム単位に、その集合としてベクトル表現したものである。しかしながら、時間差分などは、前のフレームと現在のフレームとの画素単位での演算となる。

画像特徴量演算部１２０は、画素単位ごとに、式（１）に示すように時間と空間についての演算を行う。画素単位の演算式には、例えば、以下の式（３）を用いることができる。(i,j)は、２次元画像の画素の位置を示すものである。

これにより、２次元の画像特徴量空間には、１枚の画像フレームの各画素が、時間と空間に関する２つの画像特徴量（２次元の特徴ベクトル）に基づいてそれぞれマッピングされる。

そして、画像特徴量演算部１２０は、式（１）の空間１次微分について、大きさに加えてその成分を加味する。すなわち、以下の式（４）に示すように、２次元ｘ、ｙ方向についての空間１次微分を演算する。式（４）では画素(i,j)の表記は省略している。

式（５）は、式（４）のｇ_ｘｎおよびｇ_ｙｎの演算式である。

なお、式（４）を１つに纏めた３次元の特徴ベクトルを、以下の式（６）のように表すものとする。

さらに、式（１）および式（４）を統合することにより、以下の式（７）に示す４次元の特徴ベクトルを生成することができる。

次に、ステップ３０のクラスタリング部１３０の処理について、詳細に説明する。

クラスタリング部１３０は、式（２）、式（６）、式（７）の３つの特徴ベクトルの中からいずれかの特徴ベクトルを選択する。そして、クラスタリング部１３０は、選択した特徴ベクトルに対応するｎ次元の画像特徴量空間に、画像特徴量演算部１２０が演算した画素毎の特徴ベクトルに基づいて各画素を配置（マッピング）する。

図２は、画像特徴量空間を模式的に示す図である。図２（ａ）は式（２）を用いた場合の２次元の画像特徴量空間で、図２（ｂ）は式（６）を用いた場合の３次元の画像特徴量空間で、図２（ｃ）は式（７）を用いた場合の４次元の画像特徴空間である。

図示する点３００のそれぞれは、特徴ベクトルにしたがってマッピングされた画素である。実際には、画像フレームを構成する画素の数だけ点３００が画像特徴空間上に配置される。なお、画像特徴量空間は、時空間画像の画像フレームごとに生成される。

クラスタリング部１３０は、図２に示す画像特徴量空間に配置された各画素を、クラスタリングする。クラスタリングについては、前述の非特許文献１に記載されているように、例えばｋ−ｍｅａｎｓクラスタリングなど様々な方法がある。ｋ−ｍｅａｎｓクラスタリングは、セントロイド（重心）をクラスタの代表点とし、評価関数を最小化するようにｋ個のクラスに分類する。ｋ−ｍｅａｎｓクラスタリングを用いる場合、クラスの数を事前に設定する必要があるが、例えば５０を初期値としてセントロイド（重心）と各点の距離に、一定の基準をおいて、距離が近すぎるときは併合してクラスを減少させていくことが考えられる。また、前景と背景の２つのクラスに分離する場合は、クラスの数を２に設定することが考えられる。

図２に示す画像特徴量空間では、３種類の異なる画像(３つ対象領域)から構成される時空間画像をクラスタリンクした結果を示す。図２（ａ）は、ｇ軸とｚ・軸の２次元の画像特徴量空間である。各軸は、式（２）の特徴ベクトルの各成分に対応している。この場合、元の時空間画像には、３つの対象領域から構成されているが、クラスタリングの結果は、２つのクラスに分類されている。

図２（ｂ）は、ｇ_ｘｎ軸、ｇ_ｙｎ軸およびｚ・軸の３次元の画像特徴量空間である。各軸は、式（６）の特徴ベクトルの各成分に対応している。図示するクラスタリングの結果は、３つのクラスに分類されているが、他のクラスとの重なりが生じ、３つのクラスが明瞭に分離されていない。

図２（ｃ）は、ｇ軸、ｇ_ｘｎ軸、ｇ_ｙｎ軸およびｚ・軸の４次元の画像特徴量空間である。各軸は、式（７）の特徴ベクトルの各成分に対応している。図示するクラスタリングの結果は、３つのクラスに明瞭に分類されている。

以上により、特徴ベクトルの成分を拡張することにより、時空間画像から複数の対象領域を適切に分類することができる。本実施形態では、より精度よく画像を分離するために、式（７）を用いて、図２（ｃ）の４次元の画像特徴量空間に各画素の特徴ベクトルを配置するものとする。

なお、一般的に、対象がちらついている画像の場合は、空間と時間的な変化が同時に大きくなり、対象が移動している画像の場合は、空間的な変化よりも時間的な変化の方が大きくなる。

そして、本実施形態の表示部１４０は、クラス毎に色分けするなどして、クラスタリングの結果を表示する。例えば、前景のクラスに分類された画素は赤く表示し、背景のクラスに分類された画素は白く表示することなどが考えられる。

図３は、複雑な背景と、動きのある手の前景とが表示された時空間画像４００から、手の４０１領域を検出したものである。時空間画像４００において、手４０１は、矢印４０２の方向（左上から右下へ）に動いている。背景は、蛍光灯などの影響でちらついている、すなわち変化している。

このような時空間画像４００において、本実施形態の時空間画像分離装置では、画像フレーム毎に各画素の特徴ベクトル（式（７）参照）を演算し、４次元の画像特徴量空間（図２（ｃ）参照）に演算した特徴ベクトルにしたがって各画素を配置し、画素を２つのクラスに分類する。これにより、時空間画像４００の映像フレーム毎に、動きのある手の領域４１１が所定の色で色分けされた画像４１０を生成することができる。

図４は、カメラがズームアウトしている場合の時空間画像において、複数の対象領域に分離された結果を示したものである。図４（ａ）は、時空間画像分離装置に入力される時空間画像であって、カメラワークにより画像フレーム５００から画像フレーム５１０にズームアウトしている。また、図示する時空間画像では、大雪が降っている。

図４（ｂ）は、図４（ａ）の時空間画像を、４次元の画像特徴量空間（図２（ｃ）参照）を用いて、複数のクラス（図示する例では、１０個のクラス）にクラスタリングした結果を色分けして表示したものである。図示する例では、ズームアウトされていることにより、各対象領域（動きのない積雪・木などの背景、水面、降雪など）が拡大または縮小されているにもかかわらず、各対象領域は、どの画像フレームにおいても常に同じ色、すなわち同じクラスに分類されている。なお、降雪については、絶えず、大きさ、反射、エッジなどが変化しているため他とは異なるクラスに分類されている。ここでは、式（７）に示す単純な演算で、クラスタリングができるため、画像フレーム１枚当たりの平均処理時間は、数１０ｍｓ程度と高速である。

なお、図４では、ズームアウトの場合の例を示しているが、ズームインの場合でも同様に、各対象領域は、どの画像フレームにおいても常に同じ色、すなわち同じクラスに分類される。

以上説明した本実施形態では、複雑に変化する時空間画像の各画像フレームについて、各画素の画像濃淡値ｚの１次微分値ｇと、画像濃淡値ｚの時間差分ｚ・と、ｘ方向の１次微分値ｇ_ｘと、ｙ方向の１次微分値ｇ_ｙｎとを演算して４次元の特徴ベクトルを生成し、４次元の画像特徴量空間において、各画素の特徴ベクトルをクラスタリングし、クラスタリング結果を表示する。

これにより、本実施形態では、時間と空間に関する基本的な画像特徴量を用いて、時空間画像を、複数の対象領域に適切に分離することができる。これにより、時空間画像の前景と背景とを分離抽出することができる。

また、本実施形態では、４次元の画像特徴量空間内でクラスタリングを行うため、背景が風、雪、陰影の影響などにより時々刻々と変化する場合であっても、前景と背景を適切に分離することができる。

また、本実施形態では、固定されたカメラから撮像した時空間画像だけでなく、カメラの移動によりズームアウトまたはズームインして撮像した時空間画像であっても、画像を適切に分離することができる。

本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、カラーの時空間画像を分離する場合については、ＲＧＢの各サブ画素の平均値を用いて、上記実施の形態に適用することが考えられる。または、ＲＧＢ毎にｇ軸、ｇ_ｘｎ軸、ｇ_ｙｎ軸およびｚ・軸を設け、１２次元の画像特徴量空間を形成することとしてもよい。

本発明の第１の実施形態に係る時空間画像分離装置のブロック図である。 画像特徴量空間を模式的に示す図である。 時空間画像から前景の領域を分離抽出した具体例である。 ズームアウトした時空間画像のクラスタリング結果を示す図である。

符号の説明

１００ データ入力部
１１０ データ蓄積部
１２０ 画像特徴量演算部
１３０ クラスタリング部
１４０ 表示部

Claims (9)

1. 時空間画像を複数の対象領域に分離するための時空間画像分離装置であって、
   時系列に連続した前記時空間画像を入力し、記憶手段に記憶するデータ入力手段と、
   前記時空間画像の各画像フレームの画素ごとに、時間微分と空間微分とを行うことにより特徴ベクトルを生成する画像特徴量演算手段と、
   前記特徴ベクトルを用いて各画素を、特徴量空間内で複数に分類するクラスタリング手段と、
   クラスタリング手段が分類した結果を表示する表示手段と、を有し、
   前記特徴ベクトルは、各画像フレームの画素ごとに演算した前記時間微分をベクトル表現した時間微分ベクトルと、各画像フレームの画素ごとに演算した前記空間微分をベクトル表現した空間微分ベクトルと、を含むこと
   を特徴とする時空間画像分離装置。
2. 請求項１記載の時空間画像分離装置であって、
   前記画像特徴量演算手段は、４次元の特徴ベクトルを生成し、
   前記クラスタリング手段は、４次元の特徴量空間内に前記４次元の特徴ベクトルに基づいて前記画素の各々を配置すること
   を特徴とする時空間画像分離装置。
3. 請求項２記載の時空間画像分離装置であって、
   前記４次元の特徴ベクトルは、各画像フレームの各画素の画像濃淡値の１次微分の大き
   さと、画像濃淡値の時間差分と、ｘ方向の１次微分値と、ｙ方向の１次微分値であること
   を特徴とする時空間画像分離装置。
4. 請求項１から請求項３のいずれか１項に記載の時空間画像分離装置であって、
   前記複数の対象領域には、前景と背景とが含まれること
   を特徴とする時空間画像分離装置。
5. 時空間画像分離装置が行う、時空間画像を複数の対象領域に分離するための時空間画像分離方法であって、
   時系列に連続した前記時空間画像を入力し、記憶部に記憶するデータ入力ステップと、
   前記時空間画像の各画像フレームの画素ごとに、時間微分と空間微分とを行うことにより特徴ベクトルを生成する画像特徴量を演算する画像特徴量演算ステップと、
   前記特徴ベクトルを用いて各画素を、特徴量空間内で複数に分類するクラスタリングステップと、
   クラスタリングステップで分類した結果を表示する表示ステップと、を行い、
   前記特徴ベクトルは、各画像フレームの画素ごとに演算した前記時間微分をベクトル表現した時間微分ベクトルと、各画像フレームの画素ごとに演算した前記空間微分をベクトル表現した空間微分ベクトルと、を含むこと
   を特徴とする時空間画像分離方法。
6. 請求項５記載の時空間画像分離方法であって、
   前記画像特徴量演算ステップは、４次元の特徴ベクトルを生成し、
   前記クラスタリングステップは、４次元の特徴量空間内に前記４次元の特徴ベクトルに基づいて前記画素の各々を配置すること
   を特徴とする時空間画像分離方法。
7. 請求項６記載の時空間画像分離方法であって、
   前記４次元の特徴ベクトルは、各画像フレームの各画素の画像濃淡値の１次微分の大きさと、画像濃淡値の時間差分と、ｘ方向の１次微分値と、ｙ方向の１次微分値であること
   を特徴とする時空間画像分離方法。
8. 請求項５から請求項７のいずれか１項に記載の時空間画像分離方法であって、
   前記複数の対象領域には、前景と背景とが含まれること
   を特徴とする時空間画像分離方法。
9. 請求項５から請求項８のいずれか１項に記載の時空間画像分離方法をコンピュータに実行させる時空間画像分離プログラム。