JP5259798B2 - 映像解析方法およびシステム - Google Patents

Description

本明細書に記述された実施形態は、一般に、映像シーケンスの特徴認識に関する。映像シーケンス中で特徴が認識される場合、その特徴には映像シーケンスの属性に基づいてクラスが割り当てられる。

映像シーケンスの特徴認識には多くの応用がある。そのような応用の１つは歩行者認識である。歩行者認識法では、映像シーケンスの特徴は、歩行者であるもの、あるいは歩行者でないもの、に分類される。

映像シーケンス中では、歩行者の動きとアピアランスは変化しうる。歩行者は静止していたり、さまざまな方向に移動したりする。歩行者のアピアランスは、さまざまな歩行の様相に応じて変化しうる。また、歩行者が映像中のオブジェクトによって遮蔽されていたり、荷物のようなオブジェクトに繋がっている場合もある。これらの場合にも映像シーケンスにおいて観察される歩行者の形状は変化しうる。

映像シーケンスの特徴を例えば歩行者として正確に分類するためには、映像解析手法は、上述した要因のうちのいくつかあるいはすべてについて説明できなくてはならない。

以下では、発明の実施形態は図面を参照して説明される。
映像シーケンスの特徴を分類するためのデータ処理システムのブロック図である。 映像シーケンスのフレーム中の特徴を分類する方法のフローチャートである。 映像シーケンスから特徴を抽出する方法を示す概要図である。 映像シーケンスにおける歩行者検出結果の比較を示すグラフである。 映像シーケンスのフレーム中での歩行者検出の例を示す図である。 歩行者検出システムのブロック図を示す図である。

一実施形態によれば、映像シーケンスの特徴を分類する方法は、映像シーケンスのフレームの、特徴を含んでいる対象領域を選択すること、この対象領域を複数のセルに分割すること、セルによりオプティックフローのヒストグラムを計算すること、セル対についてのオプティックフローのヒストグラムを比較すること、比較の結果の少なくとも一部に基づいて特徴をクラスに割り当てることを含む。

この実施形態において、映像シーケンスの特徴は、これらをクラスに割り当てることにより認識される。クラスへの割り当ては、オプティックフローのヒストグラムの比較に基づく。映像シーケンスのフレームについてのオプティックフローフィールドは、フレーム間でのフレーム部分の動きを示す。オプティックフローフィールドは、フレーム間でのフレームの各ピクセルの動きを示すことができる。またオプティックフローフィールドは、フレーム間でのピクセルブロックの動きを示すこともできる。オプティックフローのヒストグラムは、対象領域のセルについて計算される。オプティックフローのヒストグラムを比較することにより、対象領域のさまざまな部分の動きの相関を識別することができる。これらの相関は、映像シーケンスのフレーム中の歩行者のような、特別な特徴の存在を示すことができる。比較の結果、対象領域中の特徴はクラスに割り当てられる。

一実施形態によれば、前記方法は、映像シーケンスのフレームについて画像解析を行なうことをさらに含む。画像解析の結果と、オプティックフローのヒストグラム比較の結果とが、特徴を分類するのに用いられる。

この実施形態では、映像中の特徴は、動きおよび画像認識結果の両方に基づいて分類される。これは、形状といった静止画像の特性および動きの特性の両方が映像シーケンスの特徴を識別するのに用いられることを意味する。

一実施形態によれば、前記画像解析は、対象領域に対応する静止画像について勾配方向ヒストグラムを計算することを含んでいる。勾配方向ヒストグラムは画像中の形を認識する方法である。

一実施形態によれば、特徴をクラスに割り当てるためにランダム決定森が用いられる。ランダム決定森は、トレーニングデータを用いて、前記方法を実行するのに先だって訓練される。トレーニングデータは、分類が既知の映像シーケンスの集合に相当する。

一実施形態によれば、前記方法は映像シーケンスの歩行者を識別するために用いられる。特徴は、該特徴が歩行者に相当するかどうか判断することによりクラスに割り当てられる。

一実施形態によれば、各セルのオプティックフローフィールドは、フレーム間の映像シーケンスのフレーム部分の仮現運動の大きさおよび方向を示すベクトルを含んでいる。オプティックフローのヒストグラムの計算は、ベクトルの方向に基づいて、オプティックフローの各ベクトルをビンに割り当てることを含んでいる。

一実施形態によれば、フレームについてのオプティックフローフィールドはチャネルに記憶される。各チャネルは、オプティックフローのベクトルの方位範囲に対応する。

一実施形態によれば、オプティックフローフィールドはインテグラルイメージとして記憶される。

一実施形態によれば、前記方法は、各セルのオプティックフローフィールドから対象領域について全体的に観察されたオプティックフローを減じることにより、映像シーケンスのカメラモーションを補償すること含んでいる。

更なる実施形態によれば、上述の実施形態に従う方法をコンピュータに実行させるためのコンピュータ可読媒体が提供される。

更なる実施形態によれば、上述の実施形態に従う方法を実行するための映像解析システムが提供される。

図１は、映像シーケンスの特徴を分類するためのデータ処理システム１００を示す。データ処理システム１００は、プロセッサ１０２、メモリ１０４、入力モジュール１０８および出力モジュール１１０を含む。メモリ１０４は、映像シーケンスの特徴を分類するためのプログラム１０６を記憶する。プログラム１０６は、プロセッサ１０２上で実行することができる。入力モジュール１０８は、解析用の映像シーケンスの入力を受け取って該映像シーケンスの特徴を分類することができる。出力モジュール１１０は、その分類の結果を出力することができる。該入力モジュールは、映像シーケンスのフレーム間の動きを示すオプティックフローデータを受け取ることができる。あるいは、プロセッサが、入力映像シーケンスからオプティックフローデータを計算するように機能してもよい。入力モジュール１０８は、ビデオカメラまたは映像レコーダから映像データを受け取ることが可能なデータ接続部とすることができる。入力モジュール１０８は、インターネットのようなネットワーク上の映像データを受信することができるネットワーク接続部であってもよい。データ処理システム１００は、従来型のコンピュータであってもよい。以下では、プログラム１０６が行う方法について説明する。

図２は、映像シーケンスのフレーム中の特徴を分類するための方法のフローチャートを示す。この方法は、特徴のさまざまな部分の動きにおける相関に基づいて映像中の特徴を分類するためにオプティックフローデータを使用する。オプティックフローデータは、映像シーケンスのフレーム間の動きを示すフィールドである。オプティックフローデータは、映像シーケンスの以前のフレームまたは次のフレームについて、フレーム中の各ピクセルの動きを示すことができる。オプティックフローデータは、映像シーケンスのフレーム中のピクセル部分集合の動きを示すことができる。例えば、オプティックフローデータは、フレーム中の１ピクセルおきの動きを示すことができる。オプティックフローフィールドは、フレーム中の点集合の動きの大きさと方向を含んでいる。

方法のステップ２０２は、フレームの対象領域を選択することである。該方法の以下のステップは、この対象領域に適用される。対象領域は、フレームの画像解析を行ない、特徴候補を識別することにより特定してもよい。あるいは、フレーム中の特定サイズを持っているすべての領域を順次に選択してもよい。

ステップ２０４において、対象領域は多数のセルに分割される。ステップ２０６では、対象領域中の各セルについてオプティックフローのヒストグラムが計算される。オプティックフローのヒストグラムは、セル内の各ピクセルのオプティックフロー、あるいは各オプティックフローフィールド単位のオプティックフローに対し、オプティックフローの方向に応じてビンを割り当てることにより計算される。

ステップ２０８では、セル対のヒストグラムが比較される。該比較の結果を用いることにより、対象領域中の特徴がステップ２１０において分類される。該分類は、このように対象領域のさまざまな部分の動きの相関に基づく。

上記の説明では、分類は方法の結果を示すために使用される。該分類は、２つのクラス（例えば「歩行者」、「非歩行者」）のうちの一方への分類であってもよい。そのような分類体系は、映像シーケンスの歩行者を識別するために使用されるだろう。

上述したようにフレーム中のさまざまな点のオプティックフローの比較を解析する方法のことを、以下では共起フロー（ＣｏＦ）と呼ぶ。ＣｏＦ法は、映像シーケンス中の歩行者を識別する勾配ヒストグラム（ＨＯＧ）法と共に使用することができる。歩行者の検出のためのＨＯＧ法は、Ｎ．ＤａｌａｌおよびＢ．Ｔｒｉｇｇｓ，「人検知のための勾配方向ヒストグラム」ＣＶＰＲ（１），８８６＊８９３頁，２００５年に記載されている。

この組み合わせた方法において、ＨＯＧ特徴は、まず配向エッジエネルギー応答の計算を行い、ｄ（＝８）の異なる方位で入力画像とｏｒｉｅｎｔｅｄ ｏｄｄ Ｇａｂｏｒフィルタとの畳み込みをとることにより、入力画像から抽出される。このフィルタリングは入力画像全体について行われ、その結果はインテグラルイメージとして記憶される。エリア総和テーブルとしても知られているインテグラルイメージを使用することにより、様々なサイズのウィンドウに関して計算を効率的に行うことができる。ｊ番目の方向のガボールフィルタリングの出力をｊ＝１，．．．ｄについてＧ（ｊ）と示す。

歩行者の識別のために、１：２のアスペクト比を持つ矩形のウィンドウすなわち対象領域が使用される。このウィンドウについては、ＨＯＧ法に基づく特徴とＣｏＦ法に基づく特徴とが計算される。これらの特徴は、フレームの対象領域中のオブジェクトを歩行者あるいは非歩行者に分類するのに当該特徴を利用する、ランダム森分類器のような統計モデルへの入力に用いられる。

対象領域の特徴をＨＯＧを用いて計算する処理は以下のとおりである。候補矩形対象領域について、対象領域のサブ領域であるセル、Ｒが規定される。セルは、各レベルで２^ｌ×２・２^ｌ（ｌ＝０，．．．，ｌｍａｘ）のセルを持つように、ＭＩＰマッピングと同様にマルチレベル型でグリッドワイズに生成される。最も細かいレベルで適切な数としてｌｍａｘ＝３が選ばれる。およそこれは、６４×１２８ピクセルサイズのＲについて、最下位レベルの各セルが８×８ピクセルから成ることを示す。

セル内の各方位チャネルにおけるガボールフィルタリング｛Ｇ（ｊ）｝の出力の和から、１組の特徴要素ｆ_ｌ（ｍ，ｎ）∈Ｒ^ｄが計算される。ｍ＝１，．．．，２^ｌ，ｎ＝１，．．．，２^ｌ＋１について、レベルｌのセルは、ｗ_ｌ（ｍ，ｎ）と呼ばれる。

特徴要素の集合は次の式から与えられる。

ここで、（ｕ，ｖ）はＲ内のローカル座標であり、ｆ_ｌ（ｍ，ｎ）は全方向についてのフィルタ出力を用いて正規化される。正規化された特徴は次式から与えられる。

多次元のＨＯＧ記述子を形成するには、異なるレベルの特徴を連結することによって、より粗いスケールからの出力が組込まれてＮ_Ｇ−次元のＨＯＧ記述子Ｖ_Ｇが次式のように形成される。

上記のように計算された特徴ｖ_Ｇは、共起フロー（ＣｏＦ）方法を用いて計算された特徴に加え、歩行者または非歩行者のいずれかに映像中の移動オブジェクトを分類するのに用いられる。

歩行者識別のために、以下のように特徴を抽出するようＣｏＦ法を実施することができる。

図３は、特徴を抽出する方法の概略図を示す。

例えばＭ．Ｗｅｒｌｂｅｒｇｅｒ，Ｗ．Ｔｒｏｂｉｎ，Ｔ．Ｐｏｃｋ，Ａ．Ｗｅｄｅｌ，Ｄ．Ｃｒｅｍｅｒｓ，Ｈ．Ｂｉｓｃｈｏｆ，「異方性フーバーＬ１オプティカルフロー」（ＢＭＶＣ，２００９年）に記載された技術を利用することにより、全体画像３００について調整されたフローフィールドが計算される。

フローフィールド３０２は、画像３００上の多数点におけるオプティックフローの方向および大きさを含んでいる。

オプティックフローフィールドは、離散的な方位ｉ＝１．．．ｂに従って個別のチャネルＦ（ｉ）として記憶され、後にオプティックフローのヒストグラムにおけるビンに用いられる。したがって、チャネルＦ（ｉ）は、方向の特定範囲および大きさに対応する出力を表わす。チャネルへの出力は、（エリア総和テーブルとしても知られる）インテグラルイメージ３０４として記憶される。これにより画像の対象領域のセルについて効率的にヒストグラムを計算することが可能である。

オプティックフローのヒストグラムが、サブ領域３０６のセルについて計算される。ヒストグラム３０８は、｛Ｆ（ｉ）｝の各チャネルの関心セルｗ_ｋ（ｎ，ｍ）の領域にわたって和を計算することにより構築される。したがって、ヒストグラムのｉ番目の要素は次のように計算される。

動いているカメラからの映像シーケンスを得る場合、計算されるフローフィールドは、カメラモーションによって影響を受けるだろう。この動きは、ヒストグラムを生成する前に支配的画像フローを減じることにより補償することができる。支配的背景フローは、対象領域サブウインドウＲ中で全体的に観察されるフローの平均を求めることにより計算される。ヒストグラムのｉ番目の要素の訂正された値は、次式のように与えられる。

ヒストグラムのビンならびにオプティックフローフィールドの方向が記憶される離散的な方位の範囲は、１８０度あるいは３６０度をカバーしうる。ただし、フローフィールドが正数、負数の両方で含まれる場合にヒストグラムを計算するのであれば、ビンの範囲は１８０度である。したがって、例えば、３０度の方向を有するフィールドが、異符号の２７０度におけるフィールドと同じビンに含まれるだろう。ビンが３６０度にまたがるときに、各ビンの角度範囲は２倍になり、大きさのみがヒストグラムの計算に用いられることになる。

その後、Ｒ内のセル対についてヒストグラム３０８の比較がなされる。Ｌ_１ノルム３１０を使用して、各セル対はスカラー値を出力する。該スカラー値を合成してＣｏＦ特徴ベクトル３１２を生成する。

ビンが３６０度をカバーする場合、ヒストグラムの比較がヒストグラム交差を用いて行なわれ、各ビン対の比較和から計算されたスカラー値を与える。

ある領域のＣｏＦ特徴ベクトルおよびＨＯＧ特徴ベクトルは、対象領域内の特徴を分類するためにランダム決定森に基づいた分類器に入力される。

独立した２つのランダム森がＣｏＦ特徴およびＨＯＧ特徴をそれぞれ用いて訓練される。クラス確率分布は、当該２つのランダム森のすべての木にわたって該ランダム森の葉ノードにおいて合成される。

図４は、上述の共起フロー法の単独使用（ＣｏＦのみ）、勾配方向ヒストグラム法の単独使用（ＨＯＧのみ）、図３を参照して説明したＣｏＦ法とＨＯＧ法を組み合わせて用いることにより歩行者を検出する方法の使用（ＨＯＧとＣｏＦ）による、映像シーケンス中の歩行者検出結果の比較を示す。図４から分かるように、各法のいずれかを単独の場合に比べて、ＣｏＦ法とＨＯＧ法を組み合わせた方法は、うまく機能する。

図５は、（ａ）ＨＯＧ単独使用、（ｂ）ＣｏＦ単独使用、（ｄ）ＨＯＧとＣｏＦの組み合わせ使用による、歩行者検出の２つの事例を示す。また図５は、ＣｏＦ法において使用されるオプティックフロー（ｃ）を示す。オプティックフローは、大きさによって色分けされている。図５（ａ）、（ｂ）および（ｄ）において、紫（モノクロ画像では黒色）の箱は歩行者であるとして検出された特徴を示し、緑（モノクロ画像では白色）の箱は歩行者として検出されるべきだった特徴を示す。

図５の上部の画像中で示される例において、スーツケースを持った路上の女性をＨＯＧは逃しているが、ＣｏＦは検出している。ＣｏＦは、例えば道を横断するときのように動いている歩行者を発見することが可能な歩行者検出の重要なアプリケーションであることに留意されたい。しかし、ＣｏＦ法は静止している歩行者を検出しない（ＨＯＧでは検出される）。

図５の下部の画像において、ＣｏＦ法は、フレームの右手側に向かって歩いている人を検出する。これをＨＯＧは逃しているが、恐らく歩行者のズボンが暗い色であることも相まって背景が暗いことによるものである。

このように、２つの方法を組合せて利用することにより、役割の範囲において歩行者を発見することができる。したがって、本出願で説明した方法は、勾配ヒストグラムのような既知の方法をコンプリメントするものである。

図６は、歩行者検出システムを示す。歩行者検出システム６００は、ビデオカメラ６１０および映像解析モジュール６２０を有する。該映像解析モジュールは、オプティックフローフィールド計算機６２２と、対象領域選別器６２４と、フローの共起ベクトル計算機６２６と、勾配方向ヒストグラム・ベクトル計算機６２８と、分類器６３０とを有する。分類器は、２つのランダム決定森、すなわちフローの共起決定森６３２と勾配方向ヒストグラム決定森６３４とを記憶する。解析モジュールは、出力モジュール６４０に付随している。

出力モジュールは、ビデオカメラ６１０によって記録された映像シーケンスを歩行者を強調して表示するビデオスクリーンであってもよい。出力モジュールは、歩行者の接近を示す信号を出力してもよいし、あるいは特定のポイントを通過する歩行者数の統計を収集するのに用いられる信号を出力してもよい。歩行者検出システム６００を自走車両内部に統合してもよい。この応用例では、ビデオカメラ６１０は自走車両の進行方向に向けられる。多数のカメラを自走車両上に配置し、個々のカメラからの出力を常に解析モジュール６２０によって監視してもよい。あるいは、自走車両の移動方向によってビデオカメラのうちのいずれか１台に切り替えるよう解析モジュールを構成してもよい。

使用時において、ビデオカメラ６１０は、自走車両の移動方向の視野の映像シーケンスを捕らえる。オプティックフロー計算機６２２は、映像シーケンスのフレームのオプティックフローフィールドを計算する。対象領域選別器６２４は、該映像シーケンスのフレームの対象領域を選択する。対象領域は、上述した勾配方向ヒストグラム法を用いて映像シーケンスのフレーム解析を行なうことにより選択される。対象領域について、フローの共起ベクトル計算機６２６は、オプティカルフローの共起のベクトルを計算する。フローの共起ベクトル計算機６２６は、フローの共起ベクトルを計算する場合に、対象領域における支配的なフローを減じることにより映像シーケンスにおける車両の動きを補償する。該ベクトルは、対象領域のベルに関してオプティックフローのヒストグラムを比較することにより計算される。

また勾配方向ヒストグラム・ベクトル計算機６２８は、対象領域のベクトルを計算する。フローの共起ベクトル計算機６２６によって計算されたベクトル、および勾配方向ヒストグラム・ベクトル計算機６２８によって計算されたベクトルは、分類器６３０に入力される。分類器６３０は、該ベクトルを用いて対象領域中の特徴を歩行者あるいは非歩行者に分類する。分類器６３０は、記憶されたランダム決定森６３２および６３４を用い、該ベクトルを歩行者あるいは非歩行者のいずれかに関連づけるものとして分類する。出力モジュール６４０は、映像シーケンスの各フレームについて、歩行者の存在または不存在を示す信号を出力する。

この出力信号は、歩行者が強調された映像シーケンスであってもよい。この映像シーケンスを、自走車両のドライバーが見ることのできるビデオスクリーンに表示してもよい。該出力信号は、自走車両の進路内の歩行者の存在についてドライバーに警報するよう警報器を動作させてもよい。該出力信号が、自動車の操縦装置に直接接続されていて、歩行者の接近により、当該自動車に速度を低下させ、あるいは進路を転換させてもよい。

歩行者検出システム６００がショッピングセンターや駅のような公共建造物における歩行者監視システムに統合されてもよい。ビデオカメラは、建物に入る歩行者や建物から出る歩行者の視界に固定されうる。出力信号は、常に、建物に入る歩行者と建物から出る歩行者の数を示すことができる。したがって、歩行者検出システムは、建物への訪問者数の統計値を得ることができ、建物の内部にいる人々の数を常に算出することができる。

ヒストグラム比較結果に基づく映像シーケンスの特徴分類には、ランダム決定森に代えて他の統計分類器を用いてもよい。例えば、サポートベクトルマシン（ＳＶＭ）のような線形分類器を使用してもよい。エイダブースト（ＡｄａＢｏｏｓｔ）によって訓練された分類器を使用することもできる。

フレームの静的な特徴解析における特徴分類のために、さまざまなタイプの分類器を用いてもよい。例えば、ＨＯＧを使用した解析中に、線形分類器あるいはブースティングされた分類器を使用してもよい。

いくつかの実施形態を説明したが、これらの実施形態は例示のみを目的としており、発明の範囲を制限することは意図されていない。実際には、本明細書で説明した新規の方法およびシステムは他の様々な形で具体化することができ、更に、発明の趣旨から逸脱しない範囲で、本明細書で説明した方法およびシステムの構造における様々な省略置換および変更をなしてもよい。添付の特許請求の範囲およびその均等物は、発明の範囲および趣旨に含まれる構造あるいは改良に及ぶことが意図される。

Claims (17)

1. 映像シーケンスの特徴を分類する方法であって、
   前記映像シーケンスのフレームの、前記特徴を含んでいる対象領域を選択すること、
   前記対象領域を複数のセルに分割すること、
   前記複数セルのセル内のオプティックフローのヒストグラムを計算すること、
   セル対についての前記オプティックフローのヒストグラムを比較すること、
   前記比較の結果の少なくとも一部に基づいて前記特徴をクラスに割り当てること、を含み、
   各セルのオプティックフローは、大きさと方向を示す複数のベクトルを含み、前記オプティックフローのヒストグラムを計算することは、前記ベクトルの方向に基づいて、セル内のオプティックフローの各ベクトルをビンに割り当てることを含み、
   前記ベクトルの方位範囲が１８０度の場合には、セル対についての符号付きオプティックフローのヒストグラム比較により出力されるスカラー値に基づく特徴量を前記比較の結果とし、
   前記ベクトルの方位範囲が３６０度の場合には、前記セル対についてのオプティックフローのヒストグラム比較をヒストグラム交差を用いて行い、各ビン対の比較和から計算されたスカラー値に基づく特徴量を前記比較の結果とすることを含む、方法。
2. 前記対象領域の画像解析を行うことをさらに含み、前記特徴をクラスに割り当てることは、前記画像解析と、前記比較の結果とに基づく請求項１の方法。
3. 画像解析を行なうことは、前記対象領域に対応する静止画像について勾配方向ヒストグラムを計算することを含む請求項２の方法。
4. 前記特徴をクラスに割り当てることは、ランダム決定森分類器を使用することを含む請求項１乃至３のいずれかの方法。
5. 前記特徴をクラスに割り当てることは、前記映像シーケンス中の歩行者に前記特徴が一致するかどうか判断することを含む請求項１乃至４のいずれかの方法。
6. 前記フレームの前記オプティックフローを複数のチャネルとして記憶することをさらに含み、各チャネルは、前記オプティックフローのベクトルの方位範囲に対応する請求項１の方法。
7. 前記オプティックフローは、インテグラルイメージとして記憶される請求項６の方法。
8. 各セルの前記オプティックフローから前記対象領域について全体的に観察されたオプティックフローを減じることにより、前記映像シーケンスのカメラモーション補正を行うことをさらに含む請求項１乃至７のいずれかの方法。
9. コンピュータ上で実行されたとき、映像シーケンスの特徴を分類する命令をプロセッサに実行させるプログラムであって、前記命令は、
   前記映像シーケンスのフレームの、前記特徴を含んでいる対象領域を選択すること、
   前記対象領域を複数のセルに分割すること、
   前記複数セルのセル内のオプティックフローのヒストグラムを計算すること、
   セル対についての前記オプティックフローのヒストグラムを比較すること、
   前記比較の結果の少なくとも一部に基づいて前記特徴をクラスに割り当てること、を含み、
   各セルのオプティックフローは、大きさと方向を示す複数のベクトルを含み、前記オプティックフローのヒストグラムを計算することは、前記ベクトルの方向に基づいて、セル内のオプティックフローの各ベクトルをビンに割り当てることを含み、
   前記ベクトルの方位範囲が１８０度の場合には、セル対についての符号付きオプティックフローのヒストグラム比較により出力されるスカラー値に基づく特徴量を前記比較の結果とし、
   前記ベクトルの方位範囲が３６０度の場合には、前記セル対についてのオプティックフローのヒストグラム比較をヒストグラム交差を用いて行い、各ビン対の比較和から計算されたスカラー値に基づく特徴量を前記比較の結果とすることを含む、プログラム。
10. 映像シーケンスのフレームを受け取るように動作可能な入力モジュールと、
    記憶モジュールと、
    前記フレームの前記特徴を含んでいる対象領域を選択し、前記対象領域を複数のセルに分割し、前記複数セルのセル内のオプティックフローのヒストグラムを計算し、セル対についての前記オプティックフローのヒストグラムを比較し、前記比較の結果の少なくとも一部に基づいて前記特徴をクラスに割り当てるように動作可能なプロセッサと、
    前記特徴に割り当てられたクラスを示す情報を出力するように動作可能な出力モジュールと、を具備し、
    各セルのオプティックフローは、大きさと方向を示す複数のベクトルを含み、前記オプティックフローのヒストグラムを計算することは、前記ベクトルの方向に基づいて、セル内のオプティックフローの各ベクトルをビンに割り当てることを含み、
    前記ベクトルの方位範囲が１８０度の場合には、セル対についての符号付きオプティックフローのヒストグラム比較により出力されるスカラー値に基づく特徴量を前記比較の結果とし、
    前記ベクトルの方位範囲が３６０度の場合には、前記セル対についてのオプティックフローのヒストグラム比較をヒストグラム交差を用いて行い、各ビン対の比較和から計算されたスカラー値に基づく特徴量を前記比較の結果とすることを含む、映像解析システム。
11. 前記プロセッサは、前記対象領域の画像解析を行うように動作可能であって、前記特徴をクラスに割り当てることは、前記画像解析と前記比較の結果とに基づく請求項１０のシステム。
12. 前記プロセッサは、前記対象領域に対応する、静止画像の勾配方向ヒストグラムを計算することにより画像解析を行なうように動作可能である請求項１１のシステム。
13. 前記プロセッサは、ランダム決定森分類器を用いて前記特徴をクラスに割り当てるように動作可能である請求項１０乃至１２のいずれかのシステム。
14. 前記プロセッサは、前記特徴が前記映像シーケンスの歩行者に一致するかどうか判断することによって前記特徴をクラスに割り当てるように動作可能である請求項１０乃至１３のいずれかのシステム。
15. 前記フレームのオプティックフローを複数のチャネルとして記憶するためのストレージをさらに具備し、各チャネルは、前記オプティックフローのベクトルの方位範囲に対応する請求項１０のシステム。
16. 前記オプティックフローは、インテグラルイメージとして記憶される請求項１５のシステム。
17. 前記プロセッサは、各セルの前記オプティックフローから前記対象領域について全体的に観察されたオプティックフローを減じることにより、映像シーケンスのカメラモーションを補償するように動作可能である請求項１０乃至１６のいずれかのシステム。

Images