JP6786098B2 - 歩容解析装置 - Google Patents

Description

本発明は、人物の歩容を捉えた動画に基づいて、人物の歩容を解析する歩容解析装置、方法及びプログラムに関する。

近年、ＧＥＩと呼ばれる歩容エネルギー画像に基づいて、人物の歩く様子、すなわち歩容を解析する様々な技術が提案されている（例えば、非特許文献１等参照）。ＧＥＩとは、人物の歩容を捉えた動画に含まれる複数のフレームを、人物に対応する領域（人物領域）どうしが重なるように重ね合わせた画像であり、人が歩くときの歩容のエネルギーの分散を表す画像である。図４は、ＧＥＩの一例であり、図１のような歩行中の人物のシルエットが抽出されたシルエット画像を重ね合わせて作成したものである。そして、このような歩容のエネルギーの分散は、人によって異なる。そのため、２枚のＧＥＩの相関係数が高ければ、歩容が似ており、両画像に写る人物は同一人物であると判定することができ、反対に、相関係数が低ければ、別人物であると判定することができる。かかる判定手法は、従来、ＧＥＩに基づく人物の同定を行う場面でしばしば用いられてきた。

東山侑真、他３名，「様々な歩行状況下における歩容認証手法の性能評価」，情報処理学会，研究報告コンピュータビジョンとイメージメディア（ＣＶＩＭ），２０１３−ＣＶＩＭ−１８７巻，１０号，１−８頁，２０１３年５月２３日

しかしながら、上述の判定手法には問題がある。図２及び図３は、図１の部分拡大図であるが、これらの図に示されるように、しばしば人物の背景化と、背景の人物化が起こる。例えば、図２の例では、人物の胸辺りの服の色が背景の色と似ているため、当該服の部分は人物領域として抽出されることなく、人物領域から抜けてしまっている。これが人物の背景化である。また、図３の例では、人物領域に人物の陰が入り込んでしまっている。これが背景の人物化である。

人物の背景化及び背景の人物化によるシルエット画像上での人物領域の誤認識は、シルエット画像を重ね合わせて作成されるＧＥＩにも反映される。従って、２枚のＧＥＩの相関係数を比較して人物の同定を行おうとしたとき、人物の背景化及び背景の人物化が起きていると、同一人物であるにも関わらず相関係数が低くなり、誤判定が生じ得る。

本発明は、人物の背景化及び背景の人物化の影響を低減し、精度よく人物の歩容を解析することができる歩容解析装置、方法及びプログラムを提供することを目的とする。

第１観点に係る歩容解析装置は、人物の歩容を解析する歩容解析装置であって、ＧＥＩ作成部と、微分画像作成部と、移動量算出部と、特徴量算出部とを備える。前記ＧＥＩ作成部は、前記歩容を捉えた第１動画に含まれる複数の第１フレームを、前記人物に対応する領域どうしが重なるように重ね合わせることにより、第１ＧＥＩ（歩容エネルギー画像）を作成する。前記微分画像作成部は、前記第１ＧＥＩを微分した第１微分画像を作成する。前記移動量算出部は、前記第１微分画像と前記各第１フレーム上の前記人物に対応する領域の輪郭とをマッチングし、前記マッチングによる前記第１微分画像に対する前記各第１フレームの移動量である第１移動量を算出する。前記特徴量算出部は、前記第１移動量に基づいて、前記歩容の特徴量である第１特徴量を算出する。

第２観点に係る歩容解析装置は、第１観点に係る歩容解析装置であって、前記ＧＥＩ作成部は、前記人物に対応する領域の重心どうしが重なるように、前記複数の第１フレームを重ね合わせる。

第３観点に係る歩容解析装置は、第１観点又は第２観点のいずれかに係る歩容解析装置であって、前記特徴量には、前記移動量の時系列データのスペクトルの特徴を表すスペクトル指標が含まれる。

第４観点に係る歩容解析装置は、第３観点に係る歩容解析装置であって、前記スペクトル指標は、前記歩容の１回のストロークに対応する周波数の７倍以下の周波数帯での前記スペクトルの特徴を表す指標である。

第５観点に係る歩容解析装置は、第３観点又は第４観点に係る歩容解析装置であって、前記スペクトルは、前記歩容の３回以下のストロークに対応する前記移動量の時系列データを周波数解析したスペクトルである。

第６観点に係る歩容解析装置は、第１観点から第５観点のいずれかに係る歩容解析装置であって、前記移動量には、前記人物の上下方向の移動量が含まれる。

第７観点に係る歩容解析装置は、第１観点から第６観点のいずれかに係る歩容解析装置であって、判定部をさらに備える。前記ＧＥＩ作成部は、前記歩容を捉えた第２動画に含まれる複数の第２フレームを、前記人物に対応する領域どうしが重なるように重ね合わせることにより、第２ＧＥＩをさらに作成する。前記微分画像作成部は、前記第２ＧＥＩを微分した第２微分画像をさらに作成する。前記移動量算出部は、前記第２微分画像と前記各第２フレーム上の前記人物に対応する領域の輪郭とをマッチングし、前記マッチングによる前記第２微分画像に対する前記各第２フレームの前記移動量である第２移動量を算出する。前記特徴量算出部は、前記第２移動量に基づいて、前記歩容の特徴を表す前記特徴量である第２特徴量をさらに算出する。前記判定部は、前記第１特徴量と前記第２特徴量とを比較することにより、前記第１動画に捉えられた前記人物と前記第２動画に捉えられた前記人物とが同一人物であるか否かを判定する。

第８観点に係る歩容解析プログラムは、人物の歩容を解析する歩容解析プログラムであって、以下のステップ（１）〜（４）をコンピュータに実行させる。
（１）前記歩容を捉えた第１動画に含まれる複数の第１フレームを、前記人物に対応する領域どうしが重なるように重ね合わせることにより、第１ＧＥＩ（歩容エネルギー画像）を作成するステップ。
（２）前記第１ＧＥＩを微分した第１微分画像を作成するステップ。
（３）前記第１微分画像と前記各第１フレーム上の前記人物に対応する領域の輪郭とをマッチングし、前記マッチングによる前記第１微分画像に対する前記各第１フレームの移動量である第１移動量を算出するステップ。
（４）前記第１移動量に基づいて、前記歩容の特徴量である第１特徴量を算出するステップ。

第９観点に係る歩容解析プログラムは、人物の歩容を解析する歩容解析方法であって、以下のステップ（１）〜（４）を含む。
（１）前記歩容を捉えた第１動画に含まれる複数の第１フレームを、前記人物に対応する領域どうしが重なるように重ね合わせることにより、第１ＧＥＩ（歩容エネルギー画像）を作成するステップ。
（２）前記第１ＧＥＩを微分した第１微分画像を作成するステップ。
（３）前記第１微分画像と前記各第１フレーム上の前記人物に対応する領域の輪郭とをマッチングし、前記マッチングによる前記第１微分画像に対する前記各第１フレームの移動量である第１移動量を算出するステップ。
（４）前記第１移動量に基づいて、前記歩容の特徴量である第１特徴量を算出するステップ。

本発明では、人物の背景化及び背景の人物化の影響を低減し、精度よく人物の歩容を解析することができる。

人物領域を表す二値フレーム（シルエット画像）を示す図。 図１の人物の胸辺りの部分拡大図。 図１の人物の足元の部分拡大図。 ＧＥＩを示す図。 歩容解析装置の構成を示すブロック図。 歩容解析処理の流れを示すフローチャート。 ＧＥＩを微分した微分画像を示す図。 二値フレームの輪郭を抽出した輪郭フレームを示す図。 移動量の上下方向の成分の波形を示すグラフ。 移動量の前後方向の成分の波形を示すグラフ。 移動量の時系列データのスペクトルを示すグラフ。 実施例に係る歩容解析処理の受信者操作特性を示す図。

以下、図面を参照しつつ、本発明の一実施形態に係る歩容解析装置について説明する。
＜１．歩容解析装置の構成＞
図５に、本実施形態に係る歩容解析装置１を含む歩容解析システム１００の全体構成を示す。歩容解析装置１は、人物Ｐ１，Ｐ２の歩容を捉えた動画Ｍ１，Ｍ２に基づいて、歩容を解析する装置である。本実施形態に係る歩容解析装置１は、動画Ｍ１に写る人物Ｐ１の歩容の特徴量Ｃ１と、動画Ｍ２に写る人物Ｐ２の歩容の特徴量Ｃ２とを算出し、これらの特徴量Ｃ１，Ｃ２を比較することにより、人物Ｐ１，Ｐ２が同一人物であるか否かを判定する。動画Ｍ１，Ｍ２は、それぞれ異なる位置に設置されたカメラ２１，２２により撮影され、歩容解析装置１は、カメラ２１，２２とともに、歩容解析システム１００を構成する。動画Ｍ１，Ｍ２は、インターネット、ＬＡＮ、専用のケーブル等のネットワーク６経由で、カメラ２１，２２から歩容解析装置１に送信される。なお、歩容解析装置１とカメラ２１，２２とは、常時接続されていてもよいし、動画Ｍ１，Ｍ２の受け渡し時のみ接続されてもよい。

歩容解析装置１は、ハードウェアとしては、汎用のコンピュータである。歩容解析装置１には、ＣＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータで読み取り可能な記録媒体５から、又はネットワーク６を介して別のコンピュータから歩容解析プログラム２がインストールされている。歩容解析プログラム２は、本発明の一実施形態に係る歩容解析プログラムであり、カメラ２１，２２から取得される動画Ｍ１，Ｍ２に基づいて、人物Ｐ１，Ｐ２の歩容を解析する機能を有するアプリケーションソフトウェアである。歩容解析プログラム２は、歩容解析装置１に後述するステップを実行させる。

図５に示すとおり、歩容解析装置１は、表示部１０、入力部２０、記憶部３０、制御部４０及び通信部５０を有する。これらの部１０〜５０は、互いにバス線７で接続されている。表示部１０は、液晶ディスプレイ等で構成されており、適当な画面をユーザに対し表示する。また、入力部２０は、マウスやキーボード、タッチパネル、操作ボタン等で構成されており、歩容解析装置１に対するユーザからの操作を受け付ける。通信部５０は、歩容解析装置１をネットワーク６に接続し、ネットワーク６上に存在するカメラ２１，２２等の外部装置との間でデータ通信を行う通信インターフェースである。記憶部３０は、ハードディスク、フラッシュメモリ等の不揮発性の記憶装置から構成されており、記憶部３０内には、歩容解析プログラム２が格納されている。

制御部４０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等から構成されており、記憶部３０内に格納されている歩容解析プログラム２を読み出して実行することにより、仮想的に動画取得部４１、ＧＥＩ作成部４２、微分画像作成部４３、移動量算出部４４、特徴量算出部４５、判定部４６及び表示制御部４７として動作する。各部４１〜４７の動作については、後述する。

＜２．歩容解析処理の流れ＞
以下、図６を参照しつつ、歩容解析装置１により実行される歩容解析処理について説明する。まず、動画取得部４１が、通信部５０を介してネットワーク６経由で、カメラ２１，２２からそれぞれ動画Ｍ１，Ｍ２を取得する（ステップＳ１）。動画Ｍ１には、人物Ｐ１の歩容が捉えられており、動画Ｍ２には、人物Ｐ２の歩容が捉えられている。

続くステップＳ２では、ＧＥＩ作成部４２が、動画Ｍ１，Ｍ２からそれぞれＧＥＩ（歩容エネルギー画像）７１，７２を作成する。具体的には、ＧＥＩ作成部４２は、動画Ｍ１に含まれる複数のフレームＦ１１，Ｆ１２，・・・の平均画像を作成し、これを背景画像Ｈ１とする。平均画像とは、画素毎に、フレームＦ１１，Ｆ１２，・・・の画素値を平均した画像である。続いて、ＧＥＩ作成部４２は、各フレームＦ１１，Ｆ１２，・・・から背景画像Ｈ１を減算し、差分フレームＩ１１，Ｉ１２，・・・を作成する。差分フレームＩ１１，Ｉ１２，・・・は、それぞれ、画素毎に、フレームＦ１１，Ｆ１２，・・・の画素値から背景画像Ｈ１の画素値を減算した画像である。さらに、ＧＥＩ作成部４２は、各差分フレームＩ１１，Ｉ１２，・・・を二値化し、図１に示すような二値フレームＫ１１，Ｋ１２，・・・を作成する。二値化とは、所定の閾値以上の画素値を有する画素に画素値「１（白）」を与え、それ以外の画素に画素値「０（黒）」を与える処理である。二値フレームＫ１１，Ｋ１２，・・・上では、人物Ｐ１に対応する領域が「白」で表され、背景に対応する領域が「黒」で表される。すなわち、二値フレームＫ１１，Ｋ１２，・・・は、人物Ｐ１のシルエットを表すシルエット画像である。

続いて、ＧＥＩ作成部４２は、以上の二値フレームＫ１１，Ｋ１２，・・・を、人物に対応する領域（人物領域）どうしが重なるように重ね合わせることにより、ＧＥＩ７１を作成する。本実施形態では、ＧＥＩ作成部４２は、二値フレームＫ１１，Ｋ１２，・・・にそれぞれ写る人物領域の重心Ｇ１１，Ｇ１２，・・・を計算し、これらの重心Ｇ１１，Ｇ１２，・・・どうしが重なるように二値フレームＫ１１，Ｋ１２，・・・を位置合わせする。ＧＥＩ７１とは、図４に示すような画像であり、画素毎に、位置合わせされた二値フレームＫ１１，Ｋ１２，・・・の画素値を平均した画像である。なお、二値フレームＫ１１，Ｋ１２，・・・の位置合わせの方法は、これに限られず、人物領域が適切に重なる限り、任意の方法を採用することができる。例えば、ＩＣＰ（Iterative Closest Point）と呼ばれる位置合わせのアルゴリズムを用いることもできる。また、例えば、２枚の二値フレームどうしの相対位置を変化させながら両フレームの積和を計算し、当該積和が最大となるような相対位置で両フレームを重ね合わせることもできる。

ＧＥＩ作成部４２は、同様の方法で、動画Ｍ２に含まれる複数のフレームＦ２１，Ｆ２２，・・・に基づいて、順次、背景画像Ｈ２、差分フレームＩ２１，Ｉ２２，・・・、二値フレームＫ２１，Ｋ２２，・・・、重心Ｇ２１，Ｇ２２，・・・を導出し、ＧＥＩ７２を作成する。

ところで、人物が歩くときには、手足が前後及び鉛直上下に概ね周期的に移動する。そのため、図４に示すように、ＧＥＩ上では、常時動いている手足に対応する領域は薄くなる。また、頭や上半身に対応する領域も、歩行中前後に揺れるため、薄くなる。これに対し、身体の重心に近く、ほぼ等速運動をしている腰の辺りに対応する領域は、色が濃くなる。さらに、前方斜め下に蹴り出した太ももに対応する領域も、余り動かないため、色が濃くなる。

続くステップＳ３では、微分画像作成部４３が、ＧＥＩ７１，７２を微分し、それぞれ微分画像Ｊ１，Ｊ２を作成する。ここでいう微分とは、画素毎に、当該画素と当該画素に隣接する画素との間の画素値の変化量を求める処理である。本実施形態では、ＰＲＥＷＩＴＴフィルタを用いた１次微分が行われる。すなわち、画素毎に、画像の上下及び左右の両方向の画素値の変化量を算出し、当該上下及び左右の変化量の二乗和のルートが新たな画素値とされる。

図７は、ＧＥＩ７１の微分画像Ｊ１を示している。同図から分かるように、微分画像Ｊ１上では、人物領域の輪郭が現れ、ＧＥＩ７１上で濃く現れた部分は、当該輪郭上でも濃く現れ、ＧＥＩ７１上で薄く現れた部分は、当該輪郭上でも薄く現れる傾向にある。すなわち、ＧＥＩを微分した微分画像上では、人物領域の輪郭が、身体の歩行中に余り動かない部分、典型的には、腰の辺り及び前方斜め下に蹴り出した太ももと重なる部分において濃く現れる。つまり、ＧＥＩ上において、身体の歩行中に余り動かない部分に対応する領域と背景領域との境界では、白と黒のコントラストが大きくなるため、微分画像上では、このような境界に対応する輪郭上の画素値（微分成分）が大きくなる。一方、微分画像上では、人物領域の輪郭のうち、身体の歩行中によく動く部分と重なる部分においては薄く現れる。

続くステップＳ４では、移動量算出部４４は、微分画像Ｊ１と各二値フレームＫ１１，Ｋ１２，・・・とを人物領域の輪郭に基づいてマッチングし、このマッチングによる微分画像Ｊ１に対する各二値フレームＫ１１，Ｋ１２，・・・の移動量ｄ１１，ｄ１２，・・・を算出する。具体的には、まず、移動量算出部４４は、各二値フレームＫ１１，Ｋ１２，・・・に対しエッジ検出を行い、人物領域の輪郭が現れる輪郭フレームＬ１１，Ｌ１２，・・・（図８参照）を作成する。次に、移動量算出部４４は、微分画像Ｊ１と各輪郭フレームＬ１１，Ｌ１２，・・・とを、両画像に現れる輪郭どうしが重なるようにマッチングする。そして、このマッチングの結果に従って、各二値フレームＫ１１，Ｋ１２，・・・を微分画像Ｊ１に対し位置合わせしたときの、各二値フレームＫ１１，Ｋ１２，・・・の移動量ｄ１１，ｄ１２，・・・を算出する。このとき、移動量ｄ１１，ｄ１２，・・・は、微分画像Ｊ１上において、ＧＥＩ７１の作成時にステップＳ２で重心Ｇ１１，Ｇ１２，・・・を重ね合わせた位置Ｇ１からの、微分画像Ｊ１に対する位置合わせ後の二値フレームＫ１１，Ｋ１２，・・・上の重心Ｇ１１，Ｇ１２，・・・の位置の移動量として算出することができる（図７参照）。本実施形態では、移動量ｄ１１，ｄ１２，・・・は、２次元ベクトルであり、上下（概ね鉛直上下に一致する）方向の移動量と、左右（概ね水平に一致する）方向の移動量との２つの値を要素とする。

本実施形態では、微分画像Ｊ１と各二値フレームＫ１１，Ｋ１２，・・・とのマッチングは、微分画像Ｊ１と輪郭フレームＬ１１，Ｌ１２，・・・との相対位置を変化させながら両画像の積和を計算し、当該積和が最大となるような両画像の相対位置を検出することにより行われる。なお、このときの相対位置が、移動量ｄ１１，ｄ１２，・・・である。また、微分画像Ｊ１と各二値フレームＫ１１，Ｋ１２，・・・とのマッチングの方法は、これに限られず、人物領域の輪郭どうしが重なる限り、任意の方法を採用することができる。

移動量ｄ１１，ｄ１２，・・・は、この順番に、動画Ｍ１のフレームレートに対応する時間間隔で並ぶ時系列データを構成している。図９は、２回のストローク分の時間に対応する移動量ｄ１１，ｄ１２，・・・の上下方向の成分の波形を表しており、図１０は、２回のストローク分の時間に対応する移動量ｄ１１，ｄ１２，・・・の前後方向の成分の波形を表している。このように移動量ｄ１１，ｄ１２，・・・の特に上下方向の成分は、ステップ毎に山を形成し、ストローク毎に周期的な波形を構成することが分かる。なお、１回のストロークとは、右足を前に出す１回のステップと、続いて左足を前に出す１回のステップとからなる。

移動量算出部４４は、同様の方法で、微分画像Ｊ２と各二値フレームＫ２１，Ｋ２２，・・・とに基づいて、輪郭フレームＬ２１，Ｌ２２，・・・を算出し、移動量ｄ２１，ｄ２２，・・・を算出する。すなわち、微分画像Ｊ２と各二値フレームＫ２１，Ｋ２２，・・・とを人物領域の輪郭に基づいてマッチングし、このマッチングによる微分画像Ｊ２に対する各二値フレームＫ２１，Ｋ２２，・・・の移動量ｄ２１，ｄ２２，・・・を算出する。

微分画像Ｊ１，Ｊ２上では、上記のとおり、歩行中に余り動かない部分が濃く現れる。従って、このような微分画像Ｊ１，Ｊ２に対して各輪郭フレームＬ１１，Ｌ１２，・・・及びＬ２１，Ｌ２２，・・・がマッチングされることにより、ステップＳ４では、人物領域のうち、歩行中に余り動かない部分どうしが優先的に重なるように位置合わせされる。また、微分画像Ｊ１，Ｊ２と輪郭フレームＬ１１，Ｌ１２，・・・及びＬ２１，Ｌ２２，・・・とを両画像の積和が最大化されるようにマッチングするということは、歩行中に余り動かない部分の輪郭どうしが強く重なるように位置合わせされるということである。従って、この位置合わせ時に微分画像Ｊ１，Ｊ２を基準として算出される移動量ｄ１１，ｄ１２，・・・及びｄ２１，ｄ２２，・・・の動きは、人物Ｐ１，Ｐ２の歩容のリズムを適切に表すことができる。

続くステップＳ５では、特徴量算出部４５は、上述した移動量ｄ１１，ｄ１２，・・・に基づいて、人物Ｐ１の歩容の特徴量Ｃ１を算出する。本実施形態では、特徴量Ｃ１として、移動量ｄ１１，ｄ１２，・・・の時系列データを周波数解析したスペクトルの特徴を表すスペクトル指標ｖｒ，ｖｉ，ｗｒ，ｗｉが算出される。より具体的には、特徴量算出部４５は、移動量ｄ１１，ｄ１２，・・・に含まれる上下方向の成分の時系列データを離散フーリエ変換してスペクトルを導出し、当該スペクトルの実数部及び虚数部をそれぞれスペクトル指標ｖｒ，ｖｉとする。周波数解析の対象となるデータは、移動量ｄ１１，ｄ１２，・・・の上下方向の成分の１回のストロークに対応する時系列データである。また、基本周波数の１倍、２倍、３倍、４倍、５倍及び６倍の周波数でのｖｒ，ｖｉが算出される。基本周波数は、１回のストロークに対応する周波数、すなわち、１回のストロークに要する時間（周期）の逆数である。

また、特徴量算出部４５は、移動量ｄ１１，ｄ１２，・・・に含まれる前後方向の成分の時系列データを離散フーリエ変換してスペクトルを導出し、当該スペクトルの実数部及び虚数部をそれぞれスペクトル指標ｗｒ，ｗｉとする。周波数解析の対象となるデータは、上下方向の成分の場合と同じく、移動量ｄ１１，ｄ１２，・・・の前後方向の成分の１回のストロークに対応する時系列データである。また、上下方向の成分の場合と同じく、基本周波数の１倍、２倍、３倍、４倍、５倍及び６倍の周波数でのｗｒ，ｗｉが算出される。

さらに、特徴量算出部４５は、同様の方法で、移動量ｄ２１，ｄ２２，・・・に基づいて、人物Ｐ２の歩容の特徴量Ｃ２となるスペクトル指標ｖｒ，ｖｉ，ｗｒ，ｗｉを算出する。

図１１は、ある特定の人物について、上記のとおり定義されるスペクトル指標ｖｒ，ｖｉ，ｗｒ，ｗｉを実際に算出した結果を表している。本実施形態では、上記のとおり、１回のストロークに対応する移動量の時系列データに基づいて、基本周波数の１倍〜６倍の整数倍の周波数でのｖｒ，ｖｉ，ｗｒ，ｗｉが算出される。しかしながら、勿論、ここでの例に限定されず、１回のストロークよりも長い移動量の時系列データを周波数解析してもよいし、基本周波数の６倍よりも大きい周波数帯でのスペクトル指標を算出してもよい。ただし、１回のストローク分の移動量の時系列データからでも、十分な精度を達成することができる。その意味では、３回以下のストロークに対応する移動量の時系列データを周波数解析することが好ましい。また、本発明者が検証したところ、基本周波数の６倍を超える周波数帯のスペクトル指標を用いて解析を行うと、移動量の時系列データに含まれる高周波成分のノイズが影響し、誤差が大きくなる。その意味では、基本周波数の７倍以下の周波数帯でのスペクトル指標を算出することが好ましく、６倍以下の周波数帯であればより好ましい。また、スペクトルの特徴を表すスペクトル指標も、ｖｒ，ｖｉ，ｗｒ，ｗｉに限られず、適宜設定することができる。

続くステップＳ６では、判定部４６が、人物Ｐ１の歩容の特徴量Ｃ１と、人物Ｐ２の歩容の特徴量Ｃ２とを比較するべく、特徴量Ｃ１，Ｃ２の差分を算出する。本実施形態では、特徴量Ｃ１，Ｃ２を構成する４つのスペクトル指標ｖｒ，ｖｉ，ｗｒ，ｗｉは、各々、６つの周波数に対応する６つの値からなる６次元ベクトルであるため、特徴量Ｃ１，Ｃ２は、各々、６×４＝２４次元のベクトルである。判定部４６は、これら２４個の要素について、各要素どうしの差の二乗の平均（分散）を算出し、特徴量Ｃ１,Ｃ２の差分を表す差分値とする。

続くステップＳ７では、判定部４６は、ステップＳ６の差分値を予め設定されている閾値と比較する。そして、差分値が閾値以下であれば、人物Ｐ１と人物Ｐ２とを同一人物であると判定し、差分値が閾値よりも大きければ、人物Ｐ１と人物Ｐ２とを別人物であると判定する。

以上の判定が終わると、表示制御部４７は、以上の判定結果を示す画面を作成し、表示部１０上に表示させる。以上により、歩容解析処理は終了する。

＜３．用途＞
上記実施形態に係る歩容解析装置１は、例えば、近年、空港や商業施設等の至るところに設置されている監視カメラに捉えられた人物の動画から、人の動きの流れ（動線）を発見するために用いることができる。特に、テロ対策への応用も期待される。

＜４．特徴＞
上記実施形態では、ＧＥＩの微分画像が作成され、微分画像と、動画に含まれる各フレーム上の人物領域の輪郭とがマッチングにより位置合わせされる。そして、この位置合わせ時の微分画像に対する各フレームの移動量が算出され、当該移動量に基づいて人物の歩容の特徴量が算出される。ところで、微分画像上には、人物領域の輪郭が現れ、このうち、歩行中に余り動かない部分、典型的には腰付近に対応する部分が濃く現れる。従って、このような微分画像に対して各フレーム上の人物領域の輪郭がマッチングされることにより、歩行中に余り動かない部分どうしが優先的に重なるように位置合わせされる。そのため、微分画像を基準として算出される各フレームの移動量の動きは、人物に固有の歩容のリズムを適切に表すものとなる。その結果、このような移動量に基づいて算出される特徴量により、人物に固有の歩容のリズムを評価することができ、精度よく人物の歩容を解析することができる。

また、人物の背景化及び背景の人物化が起こった場合、ＧＥＩは大きく変化し得るが、上記移動量は余り変化しない。すなわち、ＧＥＩの微分画像と、各フレーム上に現れる輪郭とは、人物の歩行中に余り動かない部分に重点を置いてマッチングされるため、足元の陰が人物化していたとしても、人物の服が背景化していたとしても、微分画像に対する各フレームの移動量は、人物の背景化及び背景の人物化の影響を余り受けない。従って、上記特徴量を用いることにより、人物の背景化及び背景の人物化の影響を低減し、精度よく人物の歩容を解析することができる。

＜５．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。また、以下の変形例の要旨は、適宜組み合わせることができる。

＜５−１＞
上記実施形態に係る歩容解析処理は、異なる場所で撮影された異なる動画に写る複数の人物が同一人物であるか否かを判定するのに用いられた。かかる構成では、例えば、異なるＡ地点及びＢ地点にそれぞれカメラを配置し、Ａ地点及びＢ地点でカメラに捉えられた人物が同一人物か否かを判定することにより、ある人物がＡ地点からＢ地点に移動したか否かの判定を行うことができる。

しかしながら、本発明に係る歩容解析処理の用途は、これに限定されない。例えば、ある動画の異なる時間に写る人物どうしが同一人物であるか否かを判定するのにも使用することができる。この場合、１台のカメラで撮影された動画の異なるシーンを切り出し、これらのシーンに写る人物どうしが同一人物であるか否かを判定することができる。

別の例を挙げると、個人の歩容の特徴量のデータを予め記録しておき、当該記録されているデータと、カメラにより撮影された動画に含まれる人物の歩容の特徴量のデータとを比較し、これらが一致するか否かで同一人物か否かを判定することができる。

さらに、同一人物の同定に限らず、正常な人の歩容と怪我をした人の歩容とを比較し、怪我をした人の回復の程度を評価するのにも使用することができる。

＜５−２＞
上記実施形態では、ＧＥＩが、動画に含まれる各フレーム上の人物領域の重心を重ね合わせることにより作成されたが、ＧＥＩは、他の方法によっても作成することができる。例えば、人物の頭の頂点に対応する点や、腰の位置等、重心以外の特定の点を重ね合わせることによっても算出することもできる。

上記実施形態に係る歩容解析処理と同じ方法で、同一人物の判定を行った。このとき用いた動画は、ミュンヘン工科大学が公開している“tumiitgait”データベースから取得した。また、同一人物の別時間の１ストロークの動画データを２０対用意し、別人物の１ストロークの動画データを２０対用意した。そして、ステップＳ７で用いられる閾値を０．２１に設定して検証したところ、以下の結果が得られた。

全体の４０例のうち、正解は１８+１９＝３７例あり、０．９２５という高い正解率が確認された。また、TruePositive/（TruePositive＋FalsePositive）と定義される適合率は、１８／（１８＋１）＝０．９４７となり、TruePositive/（TruePositive＋FalseNegative）と定義される再現率は、１８／（１８＋２）＝０．９００となり、いずれも高い値が得られた。

また、上記実施形態に係る歩容解析処理のアルゴリズムによる判定の能力を評価するために、ステップＳ７で用いられる閾値を変化させながら、受信者操作特性を示すＲＯＣ曲線を求めたところ、図１２に示す結果が得られた。ＲＯＣ曲線は、図１２に示すような感度を縦軸とし、１−特異度を横軸とする領域において、（０．０，１．０）を通ることが理想的であり、ＲＯＣ曲線よりも下の面積（ＡＵＣ）が１．０に近いほど優れていることになる。なお、感度は、再現率に等しく、特異性とは、TrueNegative/（TrueNegative＋FalsePositive）と定義される。本実施例では、ＡＵＣが０．９７となり、上記実施形態に係る歩容解析処理のアルゴリズムが非常に優れていることが確認された。

１ 歩容解析装置
２ 歩容解析プログラム
４２ ＧＥＩ作成部
４３ 微分画像作成部
４４ 移動量算出部
４５ 特徴量算出部
４６ 判定部
７１ ＧＥＩ（第１ＧＥＩ）
７２ ＧＥＩ（第２ＧＥＩ）
Ｐ１ 人物（第１人物）
Ｐ２ 人物（第２人物）
Ｍ１ 動画（第１動画）
Ｍ２ 動画（第２動画）
Ｋ１１，Ｋ１２，・・・ 二値フレーム（第１フレーム）
Ｋ２１，Ｋ２２，・・・ 二値フレーム（第２フレーム）
Ｊ１ 微分画像（第１微分画像）
Ｊ２ 微分画像（第２微分画像）
Ｌ１１，Ｌ１２，・・・輪郭フレーム（第１フレーム）
Ｌ２１，Ｌ２２，・・・輪郭フレーム（第２フレーム）
ｄ１１，ｄ１２，・・・ 移動量（第１移動量）
ｄ１２，ｄ２２，・・・ 移動量（第２移動量）
Ｃ１ 特徴量（第１特徴量）
Ｃ２ 特徴量（第２特徴量）
ｖｒ スペクトル指標
ｖｉ スペクトル指標
ｗｒ スペクトル指標
ｗｉ スペクトル指標

Claims (9)

1. 人物の歩容を解析する歩容解析装置であって、
   前記歩容を捉えた第１動画に含まれる複数の第１フレームを、前記人物に対応する領域どうしが重なるように重ね合わせることにより、第１ＧＥＩ（歩容エネルギー画像）を作成するＧＥＩ作成部と、
   前記第１ＧＥＩを微分した第１微分画像を作成する微分画像作成部と、
   前記第１微分画像と前記各第１フレーム上の前記人物に対応する領域の輪郭とをマッチングし、前記マッチングによる前記第１微分画像に対する前記各第１フレームの移動量である第１移動量を算出する移動量算出部と、
   前記第１移動量に基づいて、前記歩容の特徴量である第１特徴量を算出する特徴量算出部と
   を備える、歩容解析装置。
2. 前記ＧＥＩ作成部は、前記人物に対応する領域の重心どうしが重なるように、前記複数の第１フレームを重ね合わせる、
   請求項１に記載の歩容解析装置。
3. 前記特徴量には、前記移動量の時系列データのスペクトルの特徴を表すスペクトル指標が含まれる、
   請求項１又は２のいずれかに記載の歩容解析装置。
4. 前記スペクトル指標は、前記歩容の１回のストロークに対応する周波数の７倍以下の周波数帯での前記スペクトルの特徴を表す指標である、
   請求項３に記載の歩容解析装置。
5. 前記スペクトルは、前記歩容の３回以下のストロークに対応する前記移動量の時系列データを周波数解析したスペクトルである、
   請求項３又は４に記載の歩容解析装置。
6. 前記移動量には、前記人物の上下方向の移動量が含まれる、
   請求項１から５のいずれかに記載の歩容解析装置。
7. 前記ＧＥＩ作成部は、前記歩容を捉えた第２動画に含まれる複数の第２フレームを、前記人物に対応する領域どうしが重なるように重ね合わせることにより、第２ＧＥＩをさらに作成し、
   前記微分画像作成部は、前記第２ＧＥＩを微分した第２微分画像をさらに作成し、
   前記移動量算出部は、前記第２微分画像と前記各第２フレーム上の前記人物に対応する領域の輪郭とをマッチングし、前記マッチングによる前記第２微分画像に対する前記各第２フレームの前記移動量である第２移動量を算出し、
   前記特徴量算出部は、前記第２移動量に基づいて、前記歩容の特徴を表す前記特徴量である第２特徴量をさらに算出し、
   前記第１特徴量と前記第２特徴量とを比較することにより、前記第１動画に捉えられた前記人物と前記第２動画に捉えられた前記人物とが同一人物であるか否かを判定する判定部
   をさらに備える、
   請求項１から６のいずれかに記載の歩容解析装置。
8. 人物の歩容を解析する歩容解析プログラムであって、
   前記歩容を捉えた第１動画に含まれる複数の第１フレームを、前記人物に対応する領域どうしが重なるように重ね合わせることにより、第１ＧＥＩ（歩容エネルギー画像）を作成するステップと、
   前記第１ＧＥＩを微分した第１微分画像を作成するステップと、
   前記第１微分画像と前記各第１フレーム上の前記人物に対応する領域の輪郭とをマッチングし、前記マッチングによる前記第１微分画像に対する前記各第１フレームの移動量である第１移動量を算出するステップと、
   前記第１移動量に基づいて、前記歩容の特徴量である第１特徴量を算出するステップと、
   をコンピュータに実行させる、歩容解析プログラム。
9. 人物の歩容を解析する歩容解析方法であって、
   前記歩容を捉えた第１動画に含まれる複数の第１フレームを、前記人物に対応する領域どうしが重なるように重ね合わせることにより、第１ＧＥＩ（歩容エネルギー画像）を作成するステップと、
   前記第１ＧＥＩを微分した第１微分画像を作成するステップと、
   前記第１微分画像と前記各第１フレーム上の前記人物に対応する領域の輪郭とをマッチングし、前記マッチングによる前記第１微分画像に対する前記各第１フレームの移動量である第１移動量を算出するステップと、
   前記第１移動量に基づいて、前記歩容の特徴量である第１特徴量を算出するステップと、
   を含む、歩容解析方法。