JP4966945B2

JP4966945B2 - 時空間画像特徴量検出装置、時空間画像特徴量検出方法および時空間画像特徴量検出プログラム

Info

Publication number: JP4966945B2
Application number: JP2008262079A
Authority: JP
Inventors: 英朋境野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2008-10-08
Filing date: 2008-10-08
Publication date: 2012-07-04
Anticipated expiration: 2028-10-08
Also published as: JP2010092293A

Description

本発明は、時空間画像から画像特徴量を検出する技術に関する。

画像処理の分野においては、多数の画像特徴量（エッジ）検出法が存在する。例えば、非特許文献１のＣａｎｎｙの手法は、基本的には画像の空間微分値を計算し、その値の中から比較的大きい値を選択する。言い換えると、画像濃淡値の勾配が大きいところを検出するものである。

また、画像の濃淡値がつくりだすさまざまな曲面は、対称の変化や形状を強く特徴付けるものである。静止画一枚における曲率（curvature）の解析についても、非特許文献２に記載されているように、多数なされている。
D.Demigny and T. Kamle, "A Discrete Expression of Canny’s Criteria for Step Edge Detector Performance Evaluation", IEEE Trans. Pattern Analysis and Machine Integration, 19(11): 1199-1211, 1997 "Curvature"、［online］、［平成２０年９月４日検索］、インターネット＜URL: http://en.wikipedia.org/wiki/Curvature＞

さて、時間的な方向を加味した画像特徴量の検出方法として、時空間画像に基づいたものがある。これは連続した画像フレームを束ねていくことで、対象の動きに応じて３次元的な模様ができるものである。このような模様について、対象がつくりだす輪郭線の検出がなされている。

しかしながら、明瞭な輪郭線、すなわちエッジが検出できるのは、車などのような剛体を対象とした場合だけである。煙、台風、水面などの場合、もとの対象の輪郭線が曖昧であるために、時空間画像から輪郭線・エッジを検出することは困難である。すなわち、自然現象系の映像に多く見られる海面などの流体状画像の変化からエッジを推定することは困難である。

また、画像の濃淡値がつくりだすさまざまな曲面について、静止画における解析は存在するが、時間的に変化するような対象上の幾何学的な特徴量を推定する方法については、ほとんど存在しない。そのため、曲率計算は幾何学的な特徴量の算出法の一つであるが、従来の曲率計算では、時間方向が考慮されていない。

本発明は上記事情に鑑みてなされたものであり、本発明の目的は、時間と空間の双方の情報が加味された時空間画像から有効な画像特徴量を検出することにある。

本発明は、時空間画像の画像特徴量を検出する時空間画像特徴量検出装置であって、時系列に連続した時空間画像を入力し、記憶手段に記憶するデータ入力手段と、前記時空間画像の画像フレームごとに、時間微分と空間微分とを算出し、算出した前記時間微分と前記空間微分のそれぞれを前記時空間画像の画像フレーム数だけ加算して、前記時空間画像の行列を生成し、当該行列を固有値問題として解析することによりエッジの強さを表す固有値とエッジの方向を表す固有ベクトルとの複数の組を取得し、取得した複数の組の中で最大の固有値と当該固有値に対応する固有ベクトルの組を選択する行列解析手段と、前記選択された最大の固有値と、当該固有値に対応する固有ベクトルとを、時間と空間に関するエッジ画像として表示する表示手段と、を有し、前記時空間画像の行列は、ｘ方向の空間微分、ｙ方向の空間微分、時間微分、ｘ方向とｙ方向の偏微分、ｘ方向と時間の偏微分、およびｙ方向と時間の偏微分を、当該行列の成分として用いる。

また、本発明は、画像特徴量検出装置が行う、時空間画像の画像特徴量を検出する時空間画像特徴量検出方法であって、前記画像特徴量検出装置は、時系列に連続した時空間画像を入力し、記憶部に記憶する入力ステップと、前記時空間画像の画像フレームごとに、時間微分と空間微分とを算出し、算出した前記時間微分と前記空間微分のそれぞれを前記時空間画像の画像フレーム数だけ加算して、前記時空間画像の行列を生成し、当該行列を固有値問題として解析することによりエッジの強さを表す固有値とエッジの方向を表す固有ベクトルとの複数の組を取得し、取得した複数の組の中で最大の固有値と当該固有値に対応する固有ベクトルの組を選択する行列解析ステップと、前記選択された最大の固有値と、当該固有値に対応する固有ベクトルとを、時間と空間に関するエッジ画像として表示する表示ステップと、を行い、前記時空間画像の行列は、ｘ方向の空間微分、ｙ方向の空間微分、時間微分、ｘ方向とｙ方向の偏微分、ｘ方向と時間の偏微分、およびｙ方向と時間の偏微分を、当該行列の成分として用いる。

また、本発明は、前記時空間画像特徴量検出方法をコンピュータに実行させる時空間画像特徴量検出プログラムである。

本発明によれば、複雑に変化する流体形画像の時空間画像から、その時間と空間で変化している画像の特徴に基づいたエッジ画像を、より高速かつより容易に取得することができる。

以下、本発明の実施形態について説明する。

図１は、本発明の実施形態に係る時空間画像特徴量検出装置１の概略構成図である。図示する時空間画像特徴量検出装置１は、データ入力部１００と、データ蓄積部１１０と、行列解析部１２０と、表示部１３０とを有する。

データ入力部１００は、時系列に連続した時空間画像を入力し、記憶手段であるデータ蓄積部１１０に記憶する。行列解析部１２０は、時空間画像の画像フレームごとに時間微分と空間微分と算出して当該時空間画像の行列を生成し、当該行列を固有値問題として解析することによりエッジの強さを表す固有値とエッジの方向を表す固有ベクトルとの複数の組を取得し、取得した複数の組の中で最大の固有値と当該固有値に対応する固有ベクトルの組を選択する。表示部１３０は、選択された最大の固有値と、当該固有値に対応する固有ベクトルとに基づいて時間と空間に関するエッジ画像を生成し、出力装置に表示する。

上記説明した、時空間画像特徴量検出装置１は、例えば、ＣＰＵと、メモリと、外部記憶装置と、入力装置と、出力装置と、これらの各装置を接続するバスと、を備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた時空間画像特徴量検出装置１用のプログラムを実行することにより、時空間画像特徴量検出装置１の各機能が実現される。なお、時空間画像特徴量検出装置１のデータ蓄積部１１０には、メモリまたは外部記憶装置が用いられる。なお、時空間画像特徴量検出装置１は、必要に応じて、他の装置と接続するための通信制御装置を備えることとしてもよい。

また、時空間画像特徴量検出装置１用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯなどのコンピュータ読み取り可能な記録媒体に記憶すること、または、ネットワークを介して配信することも可能である。

次に、本実施形態の時空間画像特徴量検出装置１の画像特徴量検出方法について説明する。

まず、データ入力部１００は、ビデオカメラなどから時空間画像を入力し、データ蓄積部１１０に格納する（ステップ１０）。時空間画像は、時系列に連続する複数の画像フレーム（映像フレーム）から構成される動画データである。

そして、行列解析部１２０は、データ蓄積部１１０に格納された時空間画像を読み出し、読み出した時空間画像の画像フレーム毎に時間微分と空間微分を算出し、当該時空間画像について成分を有する行列を生成する。そして、行列解析部１２０は、生成した行列を後述する固有値問題として解析し、当該時空間画像の時間と空間に関する画像特徴量（エッジ特徴量）を抽出する。すなわち、行列解析部１２０は、生成した行列を固有値問題として解析することにより、エッジの強さを示す固有値とエッジの方向を示す固有ベクトルの組を複数取得し、最大の固有値を有する組（最大の固有値と、当該固有値に対応する固有ベクトル）を抽出する（ステップ２０）。

そして、表示部１３０は、行列解析部１２０が抽出した固有値および固有ベクトルを用いて、時間と空間に関するエッジ画像（時空間エッジ画像）を生成し、出力装置に表示する（ステップ３０）。すなわち、表示部１３０は、固有値および固有ベクトルを可視化した時空間エッジ画像を表示する。

次に、ステップ２０の行列解析部１２０の処理について、詳細に説明する。

なお、本実施形態の時空間画像は、コンピュータビジョン分野ではダイナミック・テクスチャ（Dynamic Texture :DT）とも呼ばれている流体状画像を用いることとする。流体状画像は、水面に代表されるように、時々刻々と模様が変化するという特徴を有する。また、流体状画像は、ある時間的な範囲内では穏やかな波あるいは激流といったように、対象の状態を視覚的に判別することができるという特徴も有している。以下に、このような流体状の時系列画像から、画像特徴量を検出する処理について述べる。

「Ｉ」を、ある時刻ｔでの２次元位置（ｘ，ｙ）の画像濃淡値とする。即ち、Ｉ＝Ｉ（ｘ，ｙ，ｔ）と定義する。なお、本実施形態では、画像濃淡値を「0〜255」の範囲とするが、この範囲外でも本発明の一般性を失うことはない。

そして、以下の式（１）をＴフレーム分の画像ベクトルとする。

そして、以下の式（２）を、画像ベクトルＩ→（式では、Ｉの上に「→」を記載）から抽出される時空間画像（時空間領域）における単位ベクトル（時間と空間に関する微少量）とする。

そして、画像ベクトルＩ→について、テイラー展開を１次オーダーまで行い、以下の式（３）を得る。

「Ｈ．Ｏ．Ｔ．」は、高次の項を示す。

次に、画像ベクトルＩ→の１次勾配値（微分値）Ｄは、以下の式（４）のように表現することができる。

すなわち、以下に示す各成分は、それぞれ、画像ベクトルＩ→のｎ番目の画像フレームにおける、ｘについての空間微分、ｙについての空間微分、およびｔについての時間微分である。

なお、式（４）の行列の各列を、必要に応じてＩｘ、Ｉｙ、Ｉｔと表す場合がある。

ここで、式（４）の∇Ｉ→は、非正方行列である。そのため、このままでは、計算が困難である。

したがって、式（４）を変換し、以下の式（５）を生成する。これにより、固有値問題に帰着させることができる。

Ｕ→（式では、Ｕの上に「→」を記載）は、前述のとおり時空間画像における単位ベクトルである。Ｄ^ｔｒＤは正方行列であり、添え字ｔｒは転置行列である。

ここで、Ｄ^ｔｒＤを、画素単位に以下の式（６）のように記載することができる。式（６）は、正定値対称行列である。

式（６）のＤ、ｄは画像濃淡値を表し、(i,j)は２次元画像の画素の位置を表す。したがって、例えばＤ(i,j)は、２次元画像の画素の位置(i,j)における画像濃淡値を示す。なお、画像（情報）は、２次元の画像濃淡値（輝度）をもつ複数の画素で構成されている。画像濃淡値をＩ（ｘ，ｙ，ｔ）と表し、２次元の画素の位置を（ｘ，ｙ）、時間をｔと表現される場合もある。

式（７）〜式（１２）は、式（６）の行列のそれぞれの成分（要素）である。

式（７）はｘ方向の空間微、式（８）はｙ方向の空間微分、式（９）は時間微分である。そして、式（７）〜式（９）では、１次微分の２乗となっており、用いる画像フレームの数Ｔだけ、加算されている。

式（１０）はｘ方向とｙ方向の偏微分、式（１１）はｘ方向と時間ｔの偏微分、式（１２）はｙ方向と時間ｔの偏微分である。式（１０）〜式（１２）では、２段階で計算される。時空間画像のＴ分において、各時刻ごとに、第一段階はｘ，ｙ，ｔの各変数それぞれについての濃淡値の偏微分を求め、ｘとｙ、ｘとｔ、ｙとｔの組合せによる積をとり、第二段階は必要な時間Ｔ分までの和をとる。これにより、画像の濃淡値がつくりだすさまざまな曲面について、時間的に変化するような対象上の幾何学的な特徴量を、推定することができる。

そして、式（６）の固有値問題を解析する。すなわち、式（６）から、固有値および固有ベクトルの複数の組を取得する。なお、固有値問題の解法については、以下の参考文献に記載されているよう、ヤコビ法など様々な方法がある。

「固有値」インターネット＜URL:http://ja.wikipedia.org/wiki/%E5%9B%BA%E6%9C%89%E5%80%A4＞
式（６）から取得した複数の固有値の中で最大値の固有値は、時空間画像において最も強いエッジを示す。また最大値の固有値に対応する固有ベクトルは、最も強いエッジの方向を示す。エッジ画像は、画素単位に取得された最大値の固有値と、当該最大値の固有値に対応する固有ベクトルを可視化（マッピング）することにより生成される。

図２は、複雑な変化を示す水面の画像（流体状画像）からエッジ画像を検出した具体例を示す。図２（ａ）に示す従来のエッジ検出法（前述のＣａｎｎｙ法など）では、１枚の水面画像２００からエッジ画像２１０を生成する。エッジ画像２１０におけるエッジ強度は、１枚の水面画像２００のｘおよびｙの２次元の各方向の空間１次微分値の大きさである。水面画像２００上のある画素の１点を中心とした近傍の画素上の画像濃淡値が用いられる。

これに対し、図２（ｂ）に示す本実施形態では、Ｔ枚の（２枚〜数十枚程度）の画像フレームからなる時空間画像データ２２０を用いて、時間的および空間的に変化しているエッジ画像２３０を生成する。従来のエッジ検出法と本実施形態との違いについては、従来のエッジ画像２１０では、均一なエッジ強度しか取得できず、時間的な変化が加味されていない点にある。これに対して、本実施形態のエッジ画像２３０では、水面に現れる波現象に特有の山および谷の連なりがつくりだす滑らかなエッジ構造と、急峻なエッジ構造の両者が適切に検出されている。

また、本実施形態では、時間的に変化する波の発達および衰退の状態について、生成される１枚のエッジ画像２３０上で直感的にわかるように表現されている。すなわち、Ｔ枚の画像フレームの最初から最後まで出現している波については濃く表現され、少ない枚数の画像フレームにしか出現しない波については薄く表現されている。

また、本実施形態では、前記式（６）の正定値対称行列の固有値問題を解く場合、式（６）の各要素について式（７）〜式（１２）に示すようにｘ、ｙ、ｔの１次微分値を算出し、用いる画像フレーム数分の積算を行い、前記参考文献に記載されるような固有値問題の解法を適用する。

このため、本実施形態では、高速にエッジ特徴量を算出できるだけでなく、時空間画像特徴量検出装置１のコンピュータ上での実装についても比較的単純なスキームで実現することができる。なお１０個の画像フレームから１枚のエッジ画像（画像サイズ７２０×３６０画素）を生成するのに、１秒未満であることを確認している。

なお、従来のエッジ検出法においても、時間情報を含めることは可能である。例えば、１０個の画像フレームを用いた場合、これらの画像フレームから空間平均画像を求める。具体的には単純に、連続した画像フレームを加算した後、各画素上で画像濃淡値の平均値を取得する。この画像濃淡値の平均値を用いた空間平均画像にＣａｎｎｙ法などの従来のエッジ検出法を適用することができる。

しかしながら、この場合に生成されるエッジ画像は、本実施形態のエッジ画像２３０のようにはならず、エッジ画像２１０上のエッジ（線、曲線）に少し幅をもたせたような画像に留まる。これについては、空間平均画像では、時間と空間についての一次微分値が相互に依存するような解析過程を用いていないためである。これに対して本実施形態では、式（７）〜式（１２）の各要素に示すように相互に解析する過程があるため、最終的に得られるエッジには、時間と空間についての一次微分値の相互依存性が現れると考えられる。

次に、エッジ画像から動きベクトルを推定する方法について説明する。

図３は、動きベクトルの推定方法を模式的に示す図である。前述のとおり式（６）から最大固有値および対応する固有ベクトルを表示した結果がエッジ画像３００であり、この固有ベクトルがエッジの方向を示す。

ここで、エッジ画像３００の一部を拡大した画像３１０における曲線３１１に着目する。この曲線３１１のある１点３１２の接線の法線（互いに直交）が動きベクトルに相当する。この動きベクトルは、式（６）で２番目に大きい固有値に対応した固有ベクトルと同等である。動きベクトルの大きさについては、１０枚の画像フレームを用いた場合、２番目に大きい固有値の大きさを１０（画像フレームの数）で除算した平均値を用いる。動きベクトルの方向は、２番目に大きい固有値に対応する固有ベクトルである。画像３２０は、エッジ画像上３００に、このようにして取得した動きベクトルを表示したものである。なお、全ての動きベクトルを表示すると煩雑になるため、画像３２０では、一部の動きベクトルのみを示している。

図４は従来法によるエッジ画像と、本実施形態の時空間エッジ画像に対する視覚的な効果に関する実験結果であって、複雑に変化している物体への知覚に関する実験である。

図４には、従来法（Ｃａｎｎｙ法）によるエッジ画像と、本実施形態による時空間エッジ画像とを被験者が評価した結果のグラフが示されている。従来法では、１枚の画像を用いてエッジ画像を生成し、本実施形態では、５枚の画像フレームから構成される時空間画像を用いて１枚のエッジ画像を生成した。

動きの知覚については、３人の被験者が、対象のもつ動きの変化について、対象がどのような変化をしたかを５段階で評価した。被験者に対し、「５．０」を最も動きがわかるとし、「１．０」を動きが全くわからないという指標を与えた。用いた画像の対象（素材）は、図２に示す水面、ゴムボールの変形、木々の揺らぎ、交通流、土砂崩れ、土石流など多岐にわたったものである。このような多岐にわたった対象における、従来法のエッジ画像および本実施形態の時空間エッジ画像を被験者に３回ずつ提示し、主観評価の結果を平均化して評価結果４２０が得られた。

その結果、強いエッジ構造だけの従来法では知覚の程度４２１が悪く、本実施形態での知覚の程度４２２は従来法より良くなっている。これは本実施形態では、弱いエッジ構造と強いエッジ構造の双方を、同時に１枚のエッジ画像に表しているためと考えられる。

図５は、実環境におけるさまざまなノイズに対する耐性実験に関するものである。ここでは交通流と人の動きｔのある動画について、人工的にノイズを加えた画像を用いている。図５（ａ）に示す本実施形態のエッジ画像５００、５２０では、車と人のエッジ構造がくっきりと検出できている。これに対して、図５（ｂ）に示す従来法のエッジ画像５１０、５３０ではノイズの影響により、ほとんど車や人のエッジ構造が得られていない。すなわち、従来法では、有効な画像特徴量がノイズとともにぼやけてしまう。このことから、本実施形態のノイズ画像への耐性が示された。

これにより、本実施形態では、水面、台風、ハリケーン、煙などの流体状画像だけでなく、車両監視、人流監視など非流体状画像を用いた場合でも適用することができ、ノイズが加えられた時空間画像からでも、安定した有効なエッジ画像を生成することができる。なお、ノイズたけでなく光源変化、陰影変化に富んだ時空間画像からでも、同様に、安定した有効なエッジ画像を生成することができる。

また、時系列に連続した画像フレームからなる時空間画像から、１枚〜５枚ずつ画像フレームを間引いて、不連続的な画像フレームの時空間画像とした場合であっても、本実施形態では、対象のエッジ構造はほとんどくずれない。これは固有値問題として解いていることの効果の一つであるといえる。

以上説明した本実施形態では、複雑に変化する流体形画像の時空間画像から、その時間と空間で変化している画像の特徴に基づいたエッジ画像、高速かつ容易に取得することができる。すなわち、本実施形態では、空間的に強いエッジの特徴だけでなく、時間的にも山や谷の移動に伴った弱いエッジの特徴も同時に検出することができる。

また、本実施形態では、時空間画像を構成する画像フレームが２枚であっても、有効なエッジを検出でき、また、画像フレームを間引いた不連続的な画像フレームの時空間画像であっても有効なエッジを検出することができる。

また、本実施形態では、時空間画像から生成した行列を固有値問題として解析することで、動きベクトルを安定かつ精度よく推定することができる。

本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

本発明の第１の実施形態に係る時空間画像特徴量検出装置のブロック図である。水面の画像から検出したエッジ画像の具体例である。動きベクトルの推定方法を模式的に示す図である。エッジ画像に対する視覚的な効果に関する実験結果である。ノイズを付加した場合のエッジ画像の具体例である。

符号の説明

１時空間画像特徴量検出装置
１００データ入力部
１２０データ蓄積部
１３０行列解析部
１４０表示部

Claims

時空間画像の画像特徴量を検出する時空間画像特徴量検出装置であって、
時系列に連続した時空間画像を入力し、記憶手段に記憶するデータ入力手段と、
前記時空間画像の画像フレームごとに、時間微分と空間微分とを算出し、算出した前記時間微分と前記空間微分のそれぞれを前記時空間画像の画像フレーム数だけ加算して、前記時空間画像の行列を生成し、当該行列を固有値問題として解析することによりエッジの強さを表す固有値とエッジの方向を表す固有ベクトルとの複数の組を取得し、取得した複数の組の中で最大の固有値と当該固有値に対応する固有ベクトルの組を選択する行列解析手段と、
前記選択された最大の固有値と、当該固有値に対応する固有ベクトルとを、時間と空間に関するエッジ画像として表示する表示手段と、を有し、
前記時空間画像の行列は、ｘ方向の空間微分、ｙ方向の空間微分、時間微分、ｘ方向とｙ方向の偏微分、ｘ方向と時間の偏微分、およびｙ方向と時間の偏微分を、当該行列の成分として用いること
を特徴とする時空間画像特徴量検出装置。
請求項１記載の時空間画像特徴量検出装置であって、
前記行列解析手段は、前記固有値と固有ベクトルの複数の組の中から２番目に大きい固有値の組を特定し、当該２番目に大きい固有値を時空間画像の画像フレーム数で除算した値を動きベクトルの大きさとし、当該２番目に大きい固有値に対応する固有ベクトルを動きベクトルの向きとすること
を特徴とする時空間画像特徴量検出装置。
画像特徴量検出装置が行う、時空間画像の画像特徴量を検出する時空間画像特徴量検出方法であって、
前記画像特徴量検出装置は、
時系列に連続した時空間画像を入力し、記憶部に記憶する入力ステップと、
前記時空間画像の画像フレームごとに、時間微分と空間微分とを算出し、算出した前記時間微分と前記空間微分のそれぞれを前記時空間画像の画像フレーム数だけ加算して、前記時空間画像の行列を生成し、当該行列を固有値問題として解析することによりエッジの強さを表す固有値とエッジの方向を表す固有ベクトルとの複数の組を取得し、取得した複数の組の中で最大の固有値と当該固有値に対応する固有ベクトルの組を選択する行列解析ステップと、
前記選択された最大の固有値と、当該固有値に対応する固有ベクトルとを、時間と空間に関するエッジ画像として表示する表示ステップと、を行い、
前記時空間画像の行列は、ｘ方向の空間微分、ｙ方向の空間微分、時間微分、ｘ方向とｙ方向の偏微分、ｘ方向と時間の偏微分、およびｙ方向と時間の偏微分を、当該行列の成分として用いること
を特徴とする時空間画像特徴量検出方法。
請求項３記載の時空間画像特徴量検出方法であって、
前記行列解析ステップは、前記固有値と固有ベクトルの複数の組の中から２番目に大きい固有値の組を特定し、当該２番目に大きい固有値を時空間画像の画像フレーム数で除算した値を動きベクトルの大きさとし、当該２番目に大きい固有値に対応する固有ベクトルを動きベクトルの向きとすること
を特徴とする時空間画像特徴量検出方法。
請求項３または請求項４記載の時空間画像特徴量検出方法をコンピュータに実行させる時空間画像特徴量検出プログラム。